Muszę pilnie stworzyć w NiFi potok, który akceptuje syslog na lokalnym porcie UDP 514 i wysyła go do ElasticSearch.
Oraz muszę użyć filebeat i zbudować prosty potok Nifi, który zbiera dane z lokalnego /var/log/messages dzięki filebeat i i wysyła je do ElasticSearch.
Na Imgurl nie chciało mi przyjąć zrzutów ekranu to wrzuciłem na 0bin z opcją usunięcia po miesiącu.
1. Zainstalowałem na Debianie 11 - NiFi, Docker ElasticSearch, Docker Kibana, Filebeat z pliku DEB.
https://0bin.net/paste/jgqR0oqj#ah8vLMyOkoY12hdDlefYEHyVJMZxr1zBRZuEALPQnQC
Nie wiem dlaczego mi czasami zatrzymuje się obraz dockera kibana, jakieś sugestie?
Gdy wszystko niby sobie działa Kibana wyrzuca takie coś.
https://0bin.net/paste/+FpsBW+S#xCOFZFtHZQiwdfTWvWEEg6k7KUC4+i3nQUDGg7XpfBY
ElasticSearch po localhost wydaje się, że działa bez problemów
https://0bin.net/paste/Lk+p9p8O#Kc7ipJDmYwuXY29uhc3CIedXZjiNweB63qPvE6v787t
2. Zbudowałem potok NiFi, który ma wysyłać dane do ElasticSearch.
Potok - https://0bin.net/paste/O6uImVLM#1IwsbUQXqujLbfXemY6AUGtdMQBiPLDzRec1b3hcnlo
Konfiguracja ListenUDP - https://0bin.net/paste/APSQ+1pa#cEpONXPOrC8ube5iBpiRTpR1yg+dQzc1lsh8VwOsT3l
PutElasticsearchHttp - https://0bin.net/paste/H37h5VLK#z1ijsPbWumUv0ZYl7fn+HoqzjoCge8h0Of94c55xXh0
3. Próbowałem skonfigurować filebeat ale nie wiem czy poprawnie.
/etc/filebeat/filebeat.yml - https://0bin.net/paste/MPP1NwVw#9hHUO3TbXVNC2OT29F6OLPhfKnwHrAXWqvemDUaTKNG
kibana.yml - https://0bin.net/paste/cspLLYTq#ubeHqXLYHauTHs-1piFt4XlNlSkBKeXoaqBouhJaD3Z
elasticsearch.yml- https://0bin.net/paste/QCzamGhn#urJxzXwPLq8-wurXkniBn761mPrwqt8QsKxRCD5bTmX