问题标签 [fluent-bit]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1598 浏览

parsing - FluentBit - 从 Path_Key 解析

目前我正在使用 Path_Key 添加文件路径。我正在尝试获取 Path_key 中存在的多个变量。

是否可以从现有字段映射中提取这些值?

0 投票
2 回答
4710 浏览

elasticsearch - fluent-bit 无法解析 kubernetes 日志

我想通过fluentd将Kubernetes日志从fluent-bit转发到elasticsearch,但是fluent-bit无法正确解析kubernetes日志。为了安装 Fluent-bit 和 Fluentd,我使用 Helm 图表。我尝试了 stable/fluentbit 和 fluent/fluentbit 并面临同样的问题:

我将以下几行放入流利位值文件中,如下所示

...没有任何改变,列出了相同的错误。

是否有解决方法来摆脱该错误?

我的 values.yaml 在这里:

0 投票
0 回答
734 浏览

python - 在 Loki 中向文件管理器日志条目添加标签

我创建了简单的脚本来测试 Grafana Loki。它通过 Fluentbit 发送消息:

流利位配置:

我在 Grafana 中收到消息:

在此处输入图像描述

格拉法纳正在展示no unique labels。如何设置唯一标签,一般如何添加它们?我认为一旦将消息作为标签的第一个参数发送就可以完成logger.emit,但在 Grafana 中缺少它。我可能会扩展我的 Fluent Bit 配置来进行过滤...但是在 App 级别设置标签会很酷

0 投票
1 回答
539 浏览

centos - fluentbit 写入 /var/log/messages

我在 CentOS 系统上运行 fluentbit(td-agent-bit),以便在集中式系统中输出所有日志。每次 fluentbit 将一条记录推送到远程位置时,它也会在 /var/log/messages 中添加一条记录,从而导致日志文件很大。

7 月 21 日 08:48:53 主机名 td-agent-bit:[2020/07/21 08:48:53] [info] [out_azure] customer_id=XXXXXXXXXXXXXXXXXXXXXXXX,HTTP 状态=200

知道如何阻止服务(td-agent-bit)写入 /var/log/messages 吗?在 fluentbit 文档中找不到任何配置参数(例如详细)。谢谢!

0 投票
1 回答
584 浏览

logging - 如果在配置文件中定义,Fluent-bit 无法找到解析器事件

我想在fluent-bit中创建一个解析器来解析日志,这些日志被发送到一个弹性搜索实例,但过滤器即使在创建时也无法选择解析器。

以下是日志:

解析器:

筛选:

不知道为什么它没有选择解析器,有人可以帮我解决上述错误吗?

0 投票
2 回答
1159 浏览

tomcat - Fluentbit 与 Tomcat 日志

我正在使用 fluent-bit 版本 1.4.6,我正在尝试从 tomcat/logs 文件夹中收集日志,但我收到:

[error] [input:tail:tail.0] read error, check permissions 日志文件夹中的这些文件都是“rw-r-----”(640)。

我试图通过更改日志文件夹中文件的权限来确认它是否可以读取它并且它可以工作,但这并不能解决整体问题。

我的问题是,这是应该在 tomcat 级别设置的东西还是可以通过 fluent-bit 来完成?我可以以其他用户身份开始吗?

提前致谢!

0 投票
1 回答
135 浏览

elasticsearch - 如何在 Fluent Bit 中处理间歇性断开连接并通过 HTTP 发送正确的时间戳?

我在互联网连接经常断开的仓库环境中运行 Fluent Bit。不过,我想将 fluent bit 中的数据上传到我的 logstash 服务器(HTTP 输出)。

我通过断开互联网连接、发送数据、等待一分钟然后重新连接来运行一些测试。不幸的是,在 kibana 上,我可以看到 Fluent bit 发送的时间戳是这一分钟之后的,而不是之前的。这在发送日志文件时无关紧要,但是当随着时间的推移跟踪性能或 CPU 活动时,它确实会弄乱数据。

我想在仓库中有一个中央设备,我可以在其中转发数据,这个设备会使用 Fluentd 将其发送到 logstash,但我想知道是否有一个不太复杂的解决方案。我也不确定这里会考虑哪个时间戳。

另外,我看了一下collectd,但它不像Fluent Bit那么容易使用。

我是否缺少任何明显的解决方案?

0 投票
1 回答
1570 浏览

elasticsearch - Fluent Bit Filter 将 Unix Epoch 时间戳转换为人类可读的时间格式

我有一个 Java 应用程序,我在其中使用 Log4j2 在 JSONLayout 中打印日志,这是日志格式的示例:

然后,以这种格式打印的日志由 Fluent Bit 提取并推送到 Elasticsearch。我正在使用 Kibana 来可视化日志,但是当我看到日志和时间为epochSecondnonOfSecond时,由于格式的原因,很难将其与实际的应用程序日志联系起来。

是否有任何Fluent Bit Filter可用于将此时间格式修改为更易于阅读的格式。

目前我在 Fluent Bit 配置中使用基本的 JSON 解析器和 Kubernetes 过滤器来将 Kubernetes 信息添加到日志消息中。

更新:

我对 Log4j2 配置进行了更改,现在我得到了 timeMillis 字段,它在日志中以毫秒为单位打印时间。

将其转换为人类可读格式的 lua 过滤器将是什么。默认情况下,Fluent Bit 中的时间转换不支持以毫秒为单位的时间,它需要以秒为单位的时间。

我试过这个:

但这并没有选择毫秒部分,而是以秒为单位处理时间。

0 投票
1 回答
1975 浏览

regex - 如何解析特定消息并将其发送到具有流利位的不同输出

我需要使用 fluent-bit 解析来自日志文件的特定消息并将其发送到文件。所有消息都应该发送到标准输出,并且每条包含特定字符串的消息都应该发送到一个文件。我已经设法使用具有以下配置的过滤器来做到这一点

使用以下配置,每当我向输入文件发送一行时,它在任何情况下都会进入标准输出,如果该行包含“user_temporarily_disabled”字符串,它会进入文件。这是通过使用 rewrite_tag 过滤器重写标签来实现的。

我需要更多的是解析消息并将其重写为新形式。我试图添加一个解析器但没有成功

0 投票
2 回答
741 浏览

logging - 如何从 Azure Blob 存储配置 Fluentbit / Fluentd 输入?什么输入类型?

我们目前正在使用尾部输入收集 IIS 日志,并使用 fluentbit 将它们发送到 New Relic。

流利的bit.conf

现在我们想收集另一个可以在 Azure Blob 存储中访问的日志源。我们想使用 fluentbit,以便对两个数据源的解析以相同的方式完成,确保收集的字段相同,仅使用源扩展它们。这样我们就可以以几乎相同的方式处理/可视化两个数据源。

如何配置 fluentbit 从 Azure Blob 存储读取日志?我们在寻找什么 fluentbit 输入?