elasticsearch - hadoop（特别是 HDFS 文件）与 ELK 堆栈的集成

Question

我正在尝试将 hadoop 与 ELK 堆栈集成。我的用例是“我必须从 HDFS 路径中存在的文件中获取数据并在 kibana 仪表板上显示内容”

Hive 不在那里工作，所以我不能使用 hive。有没有其他方法可以做到这一点？

有人有任何一步一步的文章吗？

我试图通过logstash和filebeat从hadoop服务器上的linux位置获取日志，但这也不起作用。

Answer 1

我这样做是为了一些 OSINT 工作，一旦可以将内容从 hdfs 中获取到本地文件系统中，就很容易做到。这是通过设置HdfsNfsGateway来完成的。完成后，使用filebeat 和 logstash将您的内容导入 elasticsearch。之后，只需为您使用的索引配置您的kibana 仪表板。