问题标签 [fluent-bit]

我有一个将 Fluentd 作为 sidecar 运行的 pod，它从另一个容器（示例应用程序）收集日志，并且公共卷已安装在两个容器（volumeMounts）上。

示例应用程序代码将 UTC 时间戳写入文件

/var/log/1.log 的尾部输出，

FluentD 配置：

上面的配置对我很有效，我可以在 fluentD@tail插件的尾部事件中可视化Kibana，但我还想实现将基本的 kubernetes 元数据添加到尾部事件中，例如namespace_name,pod_name和container_name. 我已将kubernetes_metadata插件配置为，

我确实浏览了一些博客，了解到可以从容器日志文件中过滤和添加 kubernetes 元数据，但我没有将 fluentD 作为 DaemonSet 运行。我打算将它作为 sidecar 运行，并使用@tail插件收集应用程序日志文件并将基本的 kubernetes 元数据添加到事件中。

可以kubernetes_metadata利用过滤器来实现这一点吗？

我的正则表达式解析器似乎不起作用。我猜这与来自 Docker 的日志有关，并且没有被转义。但即使我首先包含 Docker 解析器，我也无法让它工作。

我已经用 rubular 进行了检查：https ://rubular.com/r/l6LayuI7MQWIUL

流利的bit.conf

解析器配置文件

粗壮的输出

谢谢

我正在尝试创建一个守护程序集，它将从特定命名空间的节点中的所有 pod 收集日志。我不确定如何指定命名空间名称。

我有一个命名空间日志记录，我在其中部署守护程序集。我创建了一个服务帐户，如下所示

我的集群角色如下所示

角色绑定

现在，守护进程从路径收集日志，该路径/var/log/containers/*.log当前具有来自所有命名空间中运行的容器的日志文件。有没有办法可以限制这个守护进程只从我需要的命名空间收集日志？

使用以下解析器插件配置之一：

是否可以确定插件解析字段的深度。

为了更清楚地说明这一点，假设您正在尝试记录来自 Docker 容器的 HTTP 响应，该容器包含一个包含多个项目的大型主体。Fluentbit 应该解析 Docker 日志，它确实如此。伟大的。但它也不应该解析整个身体。我不希望 Elasticsearch 中有 1000 个字段，因为它也在尝试解析我的响应正文中的所有项目。

有什么方法可以配置 Fluentbit 解析 JSON 的深度吗？

谢谢！

我正在使用 Fluent-bit ( v1.3.7) 输出到 ElasticSearch。是否可以将 Fluent-bit 配置为使用弹性索引模板名称而不是输出插件配置中的默认索引名称？

这样做的原因是我不希望 Fluent-bit 每天都创建新索引，而是依赖 ElasticSearch 中的索引生命周期策略，其中定义了翻转配置。

查看插件文档，它仅提供对设置Logstash_Prefix和的支持Logstash_DateFormat，这会导致类似这样logstash-2020.04.07的事情，其中​​索引模板名称将是这样的logstash

有人可以帮我解决这个问题吗？

根据我们的用例，我已将日志驱动程序更改为“fluentd”，/etc/docker/daemon.json 因此部署在 kubernetes 节点上的所有 pod 都将直接将日志事件转发到 fluentd 实例。

我们没有任何 ElasticSearch，而是希望以这种特殊的方式将接收到的日志事件写入文件系统。

和 application.log，应具有原样的日志事件。（应用程序和日志事件生成的时间戳）

我正在尝试在下面的配置中进行调整

使用 Fluent Bit 上传目录：

只处理直接在 /var/log/ 下的文件，但不处理子目录中的文件。

我也尝试过使用**语法，但 Fluent Bit 不支持这一点。

有没有办法上传整个目录，它的子目录和 Fluent Bit？

我是 Regex 的新手，我无法用我找到的所有教程解决这个问题。也许您的专家知道如何解决它。

我在每行的开头都有一个带有时间戳的日志文件。日志条目通过双空格行 \n\n 分隔，如下所示：

如何获取没有前导时间戳的日志消息，但保留多行信息，如下所示：

一个日志条目的时间戳始终相同。我需要将每条消息的一个时间戳存储到一个命名组中，以便以后使用它。

谢谢！

基于本指南：

https://kevcodez.de/posts/2019-08-10-fluent-bit-docker-logging-driver-elasticsearch/

我已经启动了一个 fluentbit 容器，它从另一个 ubuntu 容器收集日志并将日志写入文件：

基于此配置文件：

但是如何控制 output.txt 文件的大小，使其最终不会使用最终运行的机器上的所有磁盘空间？

看着：

https://fluentbit.io/documentation/0.14/output/file.html

我没有看到任何控制文件大小的选项（例如日志轮换）。

或者 fluentbit 是否假设日志保留/轮换由其他进程处理？

我已经用 fluent-bit 创建了 docker 容器，但是当我尝试执行 docker entrypoint.sh 时，我的权限被拒绝了。下面我附上了docker文件

低于错误信息