Witaj na Forum Linuxiarzy
Zanim zalogujesz się, by pisać na naszym forum, zapoznaj się z kilkoma zasadami savoir-vivre'u w dziale Administracja.
Wiadomości z problemami zamieszczone w wątku "Przywitaj się" oraz wszelkie reklamy na naszym forum będą usuwane.

NiFi + ElasticSearch + filebeat

Zaczęty przez qoveruru, Luty 10, 2022, 02:13:00 AM

Poprzedni wątek - Następny wątek

qoveruru

Muszę pilnie stworzyć w NiFi potok, który akceptuje syslog na lokalnym porcie UDP 514 i wysyła go do ElasticSearch.
Oraz muszę użyć filebeat i zbudować prosty potok Nifi, który zbiera dane z lokalnego /var/log/messages dzięki filebeat i i wysyła je do ElasticSearch.

Na Imgurl nie chciało mi przyjąć zrzutów ekranu to wrzuciłem na 0bin z opcją usunięcia po miesiącu.

1. Zainstalowałem na Debianie 11 - NiFi, Docker ElasticSearch, Docker Kibana, Filebeat z pliku DEB.
https://0bin.net/paste/jgqR0oqj#ah8vLMyOkoY12hdDlefYEHyVJMZxr1zBRZuEALPQnQC
Nie wiem dlaczego mi czasami zatrzymuje się obraz dockera kibana, jakieś sugestie?

Gdy wszystko niby sobie działa Kibana wyrzuca takie coś.
https://0bin.net/paste/+FpsBW+S#xCOFZFtHZQiwdfTWvWEEg6k7KUC4+i3nQUDGg7XpfBY

ElasticSearch po localhost wydaje się, że działa bez problemów
https://0bin.net/paste/Lk+p9p8O#Kc7ipJDmYwuXY29uhc3CIedXZjiNweB63qPvE6v787t

2. Zbudowałem potok NiFi, który ma wysyłać dane do ElasticSearch.
Potok - https://0bin.net/paste/O6uImVLM#1IwsbUQXqujLbfXemY6AUGtdMQBiPLDzRec1b3hcnlo
Konfiguracja ListenUDP - https://0bin.net/paste/APSQ+1pa#cEpONXPOrC8ube5iBpiRTpR1yg+dQzc1lsh8VwOsT3l
PutElasticsearchHttp - https://0bin.net/paste/H37h5VLK#z1ijsPbWumUv0ZYl7fn+HoqzjoCge8h0Of94c55xXh0

3. Próbowałem skonfigurować filebeat ale nie wiem czy poprawnie.


/etc/filebeat/filebeat.yml - https://0bin.net/paste/MPP1NwVw#9hHUO3TbXVNC2OT29F6OLPhfKnwHrAXWqvemDUaTKNG
kibana.yml - https://0bin.net/paste/cspLLYTq#ubeHqXLYHauTHs-1piFt4XlNlSkBKeXoaqBouhJaD3Z
elasticsearch.yml- https://0bin.net/paste/QCzamGhn#urJxzXwPLq8-wurXkniBn761mPrwqt8QsKxRCD5bTmX

Zobacz najnowsze wiadomości na forum