问题标签 [fluent-bit]

我正在尝试使用 fluent-bit的库 Api 编译我的 C 程序，但是缺少标头 fluent-bit.h 并且我不明白为什么。

我使用安装指南安装了 fluent-bit

这是我要测试的代码：

这是我得到的错误：

我在 Kubernetes 中使用 fluent-bit 将日志转发到 Splunk。我们将为多个 Kubernetes 集群使用相同的 Splunk 索引，因此我想用它来自的集群标记从 fluent-bit 转发的每个事件。

我尝试使用修改功能在事件中“添加”或“设置”一个新字段。

我实际收到的示例日志（缺少新添加的字段“集群”）

我正在使用 fluentbit 将 kubernetes 日志发送到 ELK，我已将级别设置为错误，但仍将所有日志消息发送到 ELK，如何配置 fluentbit 以仅发送与某些错误相对应的消息。

需要帮助弄清楚如何使用 fluent-bit 解析 istio-logs 或如何使 fluentbit 解析更“可调试”（哪个“位”失败）

在下面找到我的 fluent-bit 配置

我确实有一个其他可行的解决方案 - 正确解析了 nginx-ingress 日志。

使用 istio-proxy 注入的容器，我必须自己进行解析器匹配（这些没有注释）。

我找到了一些资源，例如https://blog.donbowman.ca/2018/10/03/the-rabbit-hole-of-log-parsing-istio-proxy-sidecar-log-routing-and-parsing-with-流利位/

我的特使正则表达式似乎适用于通过https://regex101.com/或https://rubular.com/进行的所有随机 istio-proxy 日志检查

不幸的是，Istio-proxy 日志出现在 kibana 中，但以未解析的方式出现。

帮助表示赞赏！

我正在用一个时间字段将 json 结构化日志消息写入标准输出，称为origin_timestamp.

我使用 Fluent Bit 和尾部输入插件收集日志消息，该插件使用 parser docker。解析器配置了Time_Key time.

关于的文档Time_Key说：

如果日志条目提供带有时间戳的字段，则此选项指定该字段的名称。

由于time!= origin_timestamp，我原以为 Fluent Bit 不会添加时间字段，但是最终在 Elasticsearch 中的日志消息具有以下时间字段：

• （origin_timestamp在包含原始日志消息的字段日志中）
• origin_timestamp
• time
• @timestamp（有时甚至多次）。

该@timestamp字段可能是由我在 Fluent Bit 中使用的 es 输出插件添加的，但该time字段到底是从哪里来的？

我正在尝试从尾部输入中过滤掉一些记录到流利的位。但这似乎不起作用。从日志文件中，我需要从键值为“log”的所有记录中排除 1）具有 1 个或多个数字后跟空格的记录 2）行中任何位置的值为“Series”的记录 3）值为“transacttime”的记录' 线上的任何地方。

它们可以是相同或不同的记录

这不会从输出中排除任何记录，如下所示

我已经在我的 ECS 集群上配置了 Fluent-bit。我可以在 Kibana 中看到日志。但是所有日志数据都发送到单个字段“日志”。如何将每个字段提取到单独的字段中。在这个问题中已经有一个 fluentd 的解决方案。

但是我怎样才能用 fluent-bit 达到同样的效果呢？

Kuberntetes 中有一个 fluent-bit 的解决方案：https ://docs.fluentbit.io/manual/filter/kubernetes

如何在 ECS 中实现相同的目标？

我有一个作为 docker 实例运行的 Fluent-bit，它使用tail输入插件来读取 docker 日志文件，目前我已经将输出插件配置为使用 Elasticsearch。

但是在产品中，因为 Elasticsearch 位于另一个区域，所以不想消耗带宽我不想使用 Elasticsearch，而是想使用file输出插件。但是在文件插件中没有解释文件翻转配置的文档。

我正在尝试在 docker 容器上使用 fluent-bit 设置 EFK 堆栈。虽然我可以将日志从 fluent-bit 推送到 elasticsearch，但当我尝试集成 fluentd 时，我遇到了问题。这是确切的错误消息：

意外错误 error_class=Errno::EADDRNOTAVAIL error="地址不可用 - bind(2) for \"fluent-bit\" port 24224"

我的docker-compose文件中的服务

以前我像这样直接将日志从 fluent-bit 推送到 elasticsearch，而无需在任何地方进行 fluentd 配置：

这成功地将日志推送到elasticsearch，但是现在我在两者之间添加了fluentd，所以fluent-bit会将日志发送到fluentd，然后再推送到elasticsearch。

流利的位conf：

流利的conf：

这给了我错误，因为即使它们是同一个 docker 网络的一部分，它们也无法检测到地址。

这些是我得到的错误：

流利位_1 | [2019/11/06 10:31:02] [error] [io] TCP 连接失败：fluentd:24224（连接被拒绝）

和

流利的_1 | 2019-11-06 10:31:02 +0000 [错误]：#0 意外错误 error_class=Errno::EADDRNOTAVAIL 错误="地址不可用 - 绑定 (2) 用于 \"fluent-bit\" 端口 24224"

有人可以帮我知道我在哪里犯了错误吗？

我正在尝试使用 fluent-bit 将日志从日志文件发送到正在侦听端口 8094 的电报。我可以通过这样的终端向该端口发送数据

回声“some_log_data”| 数控本地主机 8094

但是当我使用 fluent-bit formward 输出插件将数据发送到同一个端口时，它在 fluent-bit 日志中给出了这个错误

流利位_1 | [2019/11/21 11:14:44] [error] [io] TCP connection failed: localhost:8094 (Connection denied)
fluent-bit_1 | [2019/11/21 11:14:44] [错误] [out_fw] 没有可用的上游连接

这是我的 docker-compose 文件：

流利的bit.conf：

电报.conf：

有人可以帮我弄清楚我做错了什么吗？