问题标签 [efk]

您好，有人可以就以下问题提出建议：

我有 AKS kubernetes 集群，我正在使用 EFK 堆栈来获取日志。Fluentd 在 pod 中运行。

我有 nginx 应用程序 pod，我将其解析为单独的字段。nginx日志：

所以对于第一个值（10.244.xx）我进入kibana：remote 10.244.x.x

但我想把这个 ip 转换成 geoip 格式，这样我就可以在 kibana 中创建可视化。请问我需要做什么才能使用 EFK 创建 geoip ？

我正在使用 fluentd 图像：fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch

这是我用 configmap 插入到 fluentd 中的 fluen.conf：

我在 kibana- 中得到以下错误
buffer flush took longer time than slow_flush_log_threshold。
不知道如何解决这个问题。
有谁知道如何解决这个问题？

到目前为止所做的事情-

1. ES 数据节点已填充 95%，因此释放了一些空间，现在为 70%
2. 集群健康为黄色，释放空间后变为绿色。

但是，仍然无法在 Kibana 中获取数据。

我从 fluentd pod 中收到此错误，并且它们不断重新启动。我在 kuberentes v1.17.9-eks-4c6976 上运行它。

不确定是什么原因。任何帮助，将不胜感激。

我成功地遵循了这个DigitalOcean 指南。我可以访问 Kibana、ElasticSearch，并且可以看到反例的日志。

在我的 Kubernetes 集群中，我还有一个 LoadBalancer default，我在其中托管我的网站。如何使用我刚刚设置的 EFK 架构访问其日志文件？我的是 Kibana 限制吗？因为我在 Kibana 仪表板中看不到我的负载均衡器，也看不到我在其中运行的 docker 容器。

我在 Kubernetes 集群中部署了一个 EFK 堆栈。

我已经将其配置为 fluentd 将获取 Nginx 日志和 PHP 日志（两者都是 JSON 格式，并且都是每行一个 JSON 日志）。

这是我的配置：

本质上，我正在尝试获取所有日志并流式传输它们。

使用上述配置，由于某种原因，我只能获取 nginx 日志，每个日志看起来像：

如果我@type none在解析部分添加：

每次我点击刷新时，我都可以看到 2 个日志（来自 Nginx 的 404 和 PHP 错误日志没有找到路由），但它们没有被格式化......它都在消息中作为字符串：

PHP 日志示例：

我能做些什么来解决这个问题？

编辑＃1：

我检查了错误日志，我得到了这个：

编辑＃2：

我通过验证器运行原始 JSON 日志，它是有效的 JSON。

编辑#3：

添加了启动日志

编辑#4： 这是调试标准输出日志的一个例子：

我已经在 K8s 环境中部署了 Bitnami EFK 堆栈：

目前，我的命名空间中的一个模块/应用程序配置为生成 JSON 日志。我将 Kibana 中的日志视为 JSON 格式。

但是在 16385 个字符之后存在拆分/截断日志的问题，并且我看不到完整的日志跟踪。我已经测试了一些 concat 插件，但到目前为止它们没有给出预期的结果。或者我做了错误的插件实现。

我不确定，但一个原因可能是在 fluentd 配置中，一些插件已经用于过滤 JSON 数据，并且可能有一种不同的方式来使用新的 concat 插件。? 或者它可以以不同的方式配置。? https://github.com/fluent-plugins-nursery/fluent-plugin-concat

请问有人可以支持吗？谢谢

我有以下日志要解析：

在我为处理它而创建的配置文件下方。

我在输出中得到以下内容：

该日志将被发送到 ES 实例，我需要将event键的值转换为 json 对象而不是原样的字符串。

我尝试使用解码器创建一些解析器，但我找不到event在 json 对象中转换的方法。

我该怎么做 ？

我有来自某些服务的某些 JSON 格式的日志消息；然后这个流利的过滤器能够正确地解析它。然而有了这个；它会丢弃来自消息字段不是正确 JSON 的其他组件的所有其他日志。

但是所有其他没有正确 JSON 格式的消息都会丢失；

如果我注释掉类型 cri 中的嵌套解析部分；然后我得到所有日志；但是消息为 JSON 格式的日志不会被进一步解析。特别是严重性字段。请参阅下面屏幕截图中的最后两行

克服这一点；如果某些日志的嵌套解析失败，我会尝试使用 LABEL @ERROR；其消息不是 JSON 格式 - 我仍然需要在 Kibana 中以文本形式查看 pod 名称和其他详细信息和消息；但是使用以下配置，它只能解析消息为正确 JSON 格式的日志

如何获取消息为 JSON 格式解析的日志；并且其消息是文本的；原样不会迷路？

在此处配置（最后提交）https://github.com/alexcpn/grpc_templates.git

我需要将我的应用程序日志发送到作为 EFK 服务一部分的 FluentD。所以我尝试配置另一个 FluentD 来做到这一点。

my-fluent.conf:

我能够stdout正确地看到输出

2021-07-06 07:36:54.376459650 +0000 主题：{"foo":"bar", ...}

但我无法看到来自 kibana 的日志。跟踪后我发现第二个 fluentd 在接收数据时抛出错误：

{"time":"2021-07-05 11:21:41 +0000","level":"error","message":"读取数据时出现意外错误 host="XXXX" port=58548 error_class=MessagePack: :MalformedFormatError 错误="无效字节"","worker_id":0} {"time":"2021-07-05 11:21:41 +0000","level":"error","worker_id":0, "message":"/usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin/in_forward.rb:262:in feed_each'\n/usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin/in_forward.rb:262:in block (2 levels) in read_messages'\n/ usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin/in_forward.rb:271:in block in read_messages'\n/usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin_helper/server.rb:613:in on_read_without_connection'\n/usr/lib/ruby/gems/2.7.0/ gems/cool.io-1.7.1/lib/cool.io/io.rb:123:in on_readable'\n/usr/lib/ruby/gems/2.7.0/gems/cool.io-1.7.1/lib/cool.io/io.rb:186:in on_readable'\n/usr/lib/ruby/gems/2.7.0/gems/cool.io-1.7.1/库/酷。io/loop.rb:88:in run_once'\n/usr/lib/ruby/gems/2.7.0/gems/cool.io-1.7.1/lib/cool.io/loop.rb:88:in run'\n/usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin_helper/event_loop.rb:93:inblock in start'\n/usr/lib/ruby/gems/2.7.0/gems/fluentd-1.12.2/lib/fluent/plugin_helper/thread.rb:78:in 在 thread_create'"} 中阻塞

我正在使用 EFK，我想知道是否可以将用户可以修改的字段放入桌面透镜（或其他任何东西，只要它是一个数组）。这就像关于该行的注释或评论。

可以在 Kibana 中放置可编辑字段吗？

我看到旧帖子说这是不可能的，但我现在无法清楚地找到。

谢谢，

菌属