问题标签 [fluent-bit]

我想要设置多个 fluentbit 转发到单个 fluentd（或两个）。

fluentd的HA 架构很清楚，但是是否适用于 fluentbit=>fluentd 架构？

Fluentd 具有基于文件的缓冲，可以配置为数天或数周的重试，以防目标长时间无响应以避免丢失记录。我们可以使用 fluentbit 进行如此长时间的基于文件的缓冲和重试吗？

我正在尝试从这样的行中解析数据

我正在尝试捕获这样的值：

• 信息："Lorem ipsum dolor sit amet, IP: 111.111.111.111, 222.222.222.222, 333.333.333.333\r\n adipiscing elit, sed do eiusmod\r\n tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud"
• ip:"111.111.111.111, 222.222.222.222, 333.333.333.333"

可以有任意多个 IP，包括零个。

我正在使用带有单个正则表达式的流利位。这是 fluent-bit 解析器定义的示例：

感谢 Cary 和 Aleksei，这是解决方案：

https://rubular.com/r/Kgh5EXMCA0lkew

编辑

我意识到某些字符串中没有“IP：...”模式，这给了我一个解析错误。

我尝试将 *(0 或更多) 应用于 ip 组名称匹配，但我无法使其工作。知道我该怎么做吗？

我正在尝试将docker-compose文件配置为使用 fluent-bit。在我的docker-compose文件中，我有以下 fluentbit 配置

我使用它运行它docker-compose up，一切看起来都很好。为了测试，我执行以下操作：

docker run --network=monitor --log-driver=fluentd --log-opt fluentd-address=192.168.XX.XX:24224 -t ubuntu echo "test logging"

测试成功，但我必须查找容器的 fluentd-address。在docker-compose文件中，我将无法以这种方式输入地址。

在docker compose文件中，我添加了另一个服务。

我在这里使用 fluentbit 服务的名称作为hostname. 但这不起作用。

有谁知道如何让我的服务将日志推送到 fluentbit 中？

fluent_bit.conf文件

在 Kubernetes (Minikube) 上使用 EFK 堆栈。有一个使用 Serilog 的 asp.net 核心应用程序以 Json 的形式写入控制台。日志确实会发送到 Elasticsearch，但它们会到达未解析的字符串，进入“日志”字段，这就是问题所在。

这是控制台输出：

这是 Program.cs，Serilog 配置的一部分（ExceptionAsObjectJsonFormatter 继承自 ElasticsearchJsonFormatter）：

使用这些 nuget pkgs：

• Serilog.AspNetCore
• Serilog.Exceptions
• Serilog.Formatting.Elasticsearch
• Serilog.设置.配置
• Serilog.Sinks.Console

这就是它在 Kibana 中的样子

这是 fluent-bit 的 configmap：

但我也尝试了https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/elasticsearch/fluent-bit-configmap.yaml我的修改。

我使用 Helm 安装 fluentbithelm install stable/fluent-bit --name=fluent-bit --namespace=logging --set backend.type=es --set backend.es.host=elasticsearch --set on_minikube=true

我也收到很多以下错误：

和

正如我在 Kibana 中看到的那样。

Fluentbit Kubernetes FILTER 是否与 cpu 和 mem INPUT 兼容？

我无法使用 kubernetes 过滤器配置 cpu 和 mem INPUT。尾部输入没关系

我想通过 fluent-bit 将我的日志发送到弹性搜索。我已经配置values.yaml如下。

日志来自弹性搜索，但日志字段未解码为 JSON。您能否帮助使用此 YAML 将log字段解码为 JSON。

fluent-bit 生成的示例日志/文档

在 Kubernetes 集群中绘制 EFK helm 图。

Fluentbit 被配置为提供 cpu 和 mem 信息，非常好。

数据来自所有节点，但没有任何每个节点的区分信息。所以该图给出了所有机器的平均值：

有没有办法在任何级别上区分节点？

在 fluentbit 级别，我尝试使用 kubernetes 过滤器但没有成功，因为它仅适用于尾部过滤器，既不适用于 cpu 也不适用于 mem。

任何论点都值得赞赏（甚至“改变你的堆栈”或“去普罗米修斯”）

正如我们所知，我们为 docker、k8s 等提供了内置解析器。

我想知道我们是否有 fluent-bit 中的 java ant 解析器。

我正在尝试在 Fluent-bit 配置中找到一种方法来告诉/强制 ES 以结构化方式存储纯 json 格式的日志（下面的日志位来自 docker stdout/stderror） - 请参阅底部的图像以获得更好的解释。例如，除了（或同时）将日志存储为log字段下的普通 json 条目之外，我还想单独存储每个属性，如红色所示。

过滤器和解析器的文档真的很差而且不清楚。最重要的是，forward输入没有“解析器”选项。我尝试json/docker/regex了解析器，但没有运气。如果我必须使用正则表达式，我的正则表达式就在这里。目前使用 ES (7.1)、Fluent-bit (1.1.3) 和 Kibana (7.1) - 而不是 Kubernetes。

如果有人可以指导我举一个例子或举一个例子，我将不胜感激。

谢谢

谢谢

会议

有没有办法排除某些命名空间fluent-bit？我想排除某些命名空间，这样fluent-bit就不会将在这些命名空间中创建的所有日志都转发到 ELK。

除了向该命名空间中的每个 pod 添加注释之外，还有其他方法吗？我知道您可以通过 kubectl 更新命名空间中的所有 pod 注释。

kubectl annotate pods --namespace=pks-system --all fluentbit.io/exclude='true'