elasticsearch - fluentd是否满足这个需求

Question

目前我正在开发一个使用来自 ElasticSearch 的数据的仪表板的项目，Elasticsearch 正在通过 python 脚本提供数据，这些脚本以 json、数据或 csv 文件的形式从 Web 应用程序收集这些信息。这些脚本每天通过 cron 运行。我的问题是我是否可以使用 fluentd 来替换这些脚本。那么 Fluentd 是否可以收集信息（检测它们是否是新的或是否导致其中一些文件没有时间戳）并将它们输出到 ElasticSearch？

Answer 1

是的，这正是使用 Fluentd 的原因——过滤、解析、标记日志文件并将数据推送到 ElasticSearch。

从 Web 应用程序收集信息的 python 脚本可以用 Fluentd 替换，然后 ElasticSearch 可以从 Fluentd 中提取这些数据。

1. 使用 Fluentd 将 json 数据导入 ElasticSearch 的文档位于https://docs.fluentd.org/v0.12/articles/recipe-json-to-elasticsearch。
2. 所需的fluent-plugin-elasticsearch插件位于https://github.com/uken/fluent-plugin-elasticsearch。
3. Elasticsearch 输出插件的文档位于https://docs.fluentd.org/v1.0/articles/out_elasticsearch。
4. 有关如何设置它的官方 Fluentd 文档位于https://www.fluentd.org/guides/recipes/elasticsearch-and-s3。