问题标签 [fluent-bit]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
3048 浏览

java - fluentbit 将 java stacktrace 日志的每一行报告为新的日志事件

任何帮助是极大的赞赏。

我在 kubernetes 上运行流畅。我有来自 java 应用程序的日志。堆栈跟踪是多行的,问题是多行日志的每一行都报告为新的日志事件。

下面是我的配置。有人可以建议配置有什么问题吗?另外,我使用 containerd 而不是 docker 来运行容器。

样本日志:

0 投票
1 回答
1382 浏览

docker - Fluent-bit Filter 似乎仅在 Match 为 * 时才有效

我正在使用 docker-compose,它会生成 20 多个服务。它们中的大多数相似,但解析不同的日期时间格式或值略有不同。我的日志记录想法是将所有内容记录到 systemd,然后通过 fluent-bit 获取。

docker-compose 中的大多数服务看起来像这样(标签开头会根据我稍后要使用的解析器获得不同的名称):

流利的bit.conf:

解析器配置文件

如果我更改过滤器匹配:

Match dockerC*-> Match * Match dockerJ*->Match *

它匹配并且在es中解析JSON没有任何问题,但是由于稍后在我的弹性搜索或流利位invalid time format错误中的不同时间格式而出现问题

我可以编辑并制作 8 个具有不同标签的不同 [INPUT] 字段,但这样做似乎只是计算机资源的腰部。

所以我的问题是:如何实际使用标签/过滤器并根据Tags设置在范围之外的消息发送消息fluent-bit(比如在这种情况下 - docker-compose.yml)?

0 投票
1 回答
593 浏览

filter - fluent-bit 1.6.0 中的 rewrite-tag 过滤器挂起

我用fluent-bit 1.6.0尝试了文档rewrite-tag中编写的示例

通过Git中提到的修复,我能够摆脱以下警告

但现在我在输出上什么也没得到。它在以下行之后挂起

知道为什么吗?

以下是配置文件的内容(与文档中的相同)

我将配置文件命名为example.conf

我运行它的方式如下

0 投票
1 回答
1707 浏览

filter - 如何在 fluent-bit 中覆盖 rewrite_tag

在我的场景中,我使用 fluent-bit(版本 1.6.1)过滤器来识别特定的日志模式和标记(from.solr.out)。

然后我修改记录以添加如下所示的字段

现在我需要为我在下面的代码片段中尝试过的修改后的记录提供一个新标签(format.logging),但它不起作用。

  • 这种方法有什么问题?

  • 有没有更好的方法/过滤器来完成这项任务?

0 投票
1 回答
667 浏览

elasticsearch - 在 fluentbit 中使用 tls 和 elastic

我正在尝试使用不同 VM 上的 FluentBit 服务将日志发送到我的弹性 pod。我为弹性配置了入口。

我以这种方式配置了 FluentBit:

但我不断收到以下错误:

可以在弹性输出中使用 TLS 吗?如果是的话,你能建议我配置错了什么吗?

0 投票
0 回答
551 浏览

fluent-bit - Fluentbit http 输出 - 每个请求发送一个日志

我正在尝试让 fluenbit ( td-agent-bit-1.6.3-win64) 将日志行从文件发送到 HTTP 端点。我的问题是,端点一次只能通过 POST 接受 1 个 JSON 对象,而且看起来 fluentbit 总是将多个 JSON 对象批量发送到端点。我的配置是:

根据文档,此输出有多种格式(https://docs.fluentbit.io/manual/pipeline/outputs/http

我尝试过使用json输出格式,但这会发送由数组包装的多个 JSON 对象。该json_stream格式似乎也发送多个 JSON 对象,以逗号分隔并且json_lines 还发送多个对象。

我真的很感谢任何帮助让 fluentbit 一次发布我的日志

谢谢!

0 投票
1 回答
3496 浏览

kubernetes - 将 Sidecar 容器添加到正在运行的 pod(s)

我有我们正在运行的供应商应用程序的 helm 部署脚本。对于日志记录解决方案,我需要为 fluentbit 添加一个 sidecar 容器,以将日志推送到聚合日志服务器(在本例中为 splunk)。

现在要定义这个 sidecar 容器,我想避免更改供应商定义的部署脚本。相反,我想要一些替代方法将边车容器附加到正在运行的 pod(s)。

到目前为止,我已经了解到可以在同一个部署脚本(部署配置)中定义 sidecar 容器。

0 投票
1 回答
625 浏览

fluentd - 仅通过 fluent-bit 收集具有特定字段的日志

例如,我的日志如下所示:

或者

就我而言,我只希望收集带有“foo”字段的日志,同时删除其他日志。

0 投票
1 回答
1037 浏览

docker - Fluent-bit 客户端和 Fluentd 服务器之间的 TLS 问题

我正在尝试将 fluent-bit 客户端(在 Docker 容器中运行)连接到使用 TLS 运行 Fluentd 的服务器。

Fluent-bit 客户端配置:

Fluentd 服务器配置:

当我在两端启动服务并尝试发送消息时,Fluentd(服务器)日志中会显示此错误:

但是,当我手动尝试使用 openssl 命令行工具将客户端连接到 Fluentd 服务器时,连接正常:

因此,我假设服务器正在执行一些检查 openssl CL 客户端是否正在执行,但在 Docker 容器中运行的 fluent-bit 不是。

任何建议都非常感谢。

0 投票
2 回答
1320 浏览

amazon-web-services - 如何配置 aws 凭证以使用 fluentbit 设置 cloudwatch

我需要使用 fluentbit 从本地系统上托管的应用程序将日志发送到 cloudwatch,但我无法配置 fluent bit 的 aws 凭据以将日志发送到 cloudwatch。如果有人可以帮助我,那将有很大帮助。部分日志如下:-