1

希望你们在这次疫情期间一切都好。

我有一个 Kubernetes 集群正在运行。Pod 之间的通信是通过 kafka 完成的。它当前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕。

我想设置一个 grafana 实例，让我在那里集中所有日志。存储将是 Loki + S3

为了做到这一点，我发现很多人使用 Fluentd、FluentBit 和 Promtail 之类的工具，这些工具可以集中日志并将它们发送给 Loki。但是，我已经运行了 Kafka。如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用像 fluentd 这样的工具。

我的问题是：如何将日志主题内的所有消息发送给 Loki？Fluentd 无法从 kafka 获取输入。

我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？

4

1 回答 1

0

我建议您使用 promtail，因为它也来自 Grafana，而不是使用 kafka 解决方案。

如果您将应用程序中的日志发送到 kafka，那么您需要：

  • 修改您的应用程序以发送到 kafka 而不是标准输出
  • 配置日志转发器以将 kafka 上的消息发送到 loki（可以流利）

如果您使用一种通常建议的方法，您需要：

  • 配置日志转发器以将消息从 docker stdout 发送到 loki（可以使用 promtail 默认配置）

但是，如果您想在中间使用 kafka 的解决方案，则可以使用一些 fluentd 插件将 kafka 配置为输入和输出。https://github.com/fluent/fluent-plugin-kafka

于 2021-04-14T09:27:21.940 回答