30

我需要监控非常不同的日志文件中的错误、成功状态等。我需要使用 Prometheus 获取相应的指标并在 Grafana 中显示 + 设置一些警报。Prometheus + Grafana 还可以，我已经在不同的导出器（如 node_exporter 或 mysql_exporter 等）中大量使用它们。在新的 Grafana 4.x 中发出警报也效果很好。

但是我很难找到合适的导出器/程序，它可以“即时”分析日志文件并从中提取指标。

到目前为止，我尝试过：

  • mtail ( https://github.com/google/mtail ) - 有效，但现有版本无法轻松监控更多文件 - 通常它无法将特定 mtail 程序（用于分析的收据）绑定到某些特定日志文件 + 我无法轻松添加日志文件名称到标签
  • grok_exporter ( https://github.com/fstab/grok_exporter ) - 有效，但我只能提取有限的信息 + 一个实例只能监控一个日志文件，这意味着我必须在更多端口上启动更多实例并配置它们在普罗米修斯 - 这使得太多新的失败点
  • fluentd prometheus 导出器（https://github.com/kazegusuri/fluent-plugin-prometheus） - 有效，但看起来我只能提取非常简单的指标，我无法对日志文件中的行进行任何高级正则表达式分析

这里有没有人有一个真正运行的解决方案，可以使用“一些导出器”+ Prometheus + Grafana 从日志文件中监控高级指标？或者代替导出一些程序，我可以使用 Prometheus 推送网关从中获取结果。谢谢。

4

3 回答 3

16

看看电报。它确实支持使用输入插件logparser和tail跟踪日志。要将指标导出为 prometheus 端点，请使用prometheus_client输出插件。您也可以申请即时聚合。我发现为多个日志文件配置比 grok_exporter 或 mtail 更简单

于 2017-11-23T12:11:13.493 回答
1

这些是目前将日志数据导入 Prometheus 的 3 个答案。

您还可以考虑获取生成日志的任何内容以直接公开 Prometheus 指标。

于 2016-12-15T10:07:38.643 回答
0

尝试 prometheus-python-exporter 并在 python 中编写您的自定义导出器 grepping 任何您想要的日志文件，然后公开所需的指标。有几个tutos可以帮助你

于 2021-06-28T18:53:10.893 回答