问题标签 [efk]

我有一个简单的 Fluentd-Elasticsearch-Kibana 设置，它的行为非常奇怪。Fluentd 似乎在 3 小时后停止向弹性搜索发送信息。

我在一个简单的 docker-compose 文件中运行所有内容

Fluentd 是按照这个 dockerfile 构建的

它有以下conf文件：

所有这些都在云中运行，当然，在同一台机器上。从其他机器/实例，我发送我的日志，Fluentd 确实收到了这些日志，没有任何问题。问题是每 3 小时后，Fluentd 突然停止将这些日志转发到我的 Elasticsearch。没有错误信息，什么都没有。如果我确实重新启动了 Fluentd 容器，那么接下来的 3 小时内一切正常。

我寻找这种行为，但找不到任何解释或与这种情况接近的人。有一个人遇到了类似这个问题，但最后，它与 Elasticsearch 有关，而不是 Fluentd ......

我们正在运行 Openshift Container Platform 3.4.1。它使用 RedHat 提供的 EFK 聚合日志记录解决方案来记录到 Elastic Search。我们还启用了到 Splunk 的安全转发器。Splunk 是我们的战略日志记录解决方案，因此我们只希望将日志发送到那里。

我们也遇到过 ES 出现问题，日志不再转发到 Splunk 的情况。

我会考虑构建一个独立的 Fluentd 解决方案（发送到 Splunk），但我们的用户现在熟悉聚合日志记录丰富数据的方式，我认为独立的 FluentD 容器不会这样做。

有谁知道是否可以修改聚合日志记录，使其根本不发送到 ES，而只使用安全转发器将数据发送到 Splunk？或者，放弃聚合日志，并使用标准 FluentD 安装，同时保持聚合日志提供的丰富性？

顺便说一句 - 这只是我使用 Openshift 的第二周，所以如果这是一个模糊或糟糕的问题，我们深表歉意 :) 谢谢 M

所以我在官方Openshift/Origin 文档之后安装了以下Openshift/Origin 架构 我们还想使用开箱即用的聚合日志记录设置，这就是为什么严格使用Openshift 聚合日志记录文档来设置的原因。

到目前为止，反馈非常好，但我还有另一个挑战，我需要一些帮助。开发人员希望自己指定将转发到 Elasticsearch 的日志级别。当前日志级别仅通过 FluentD 设置。

有没有办法通过 Deployment 变量设置日志级别并使其将 Fluentd 原封不动地传递给 Elasticsearch ？

目标是为人们提供一种自行设置将转发到 Elasticsearch 的日志级别的方法。

http://grs-preprodkubemaster01:5601/kibana

我已经按照文档安装了 Kibana，当我使用服务作为类型：LoadBalancer 时，服务没有出现，所以我删除了类型：LoadBalancer 并让它默认为 ClusterIP，它出现了。（注意我没有 AWS）但是，我不确定如何访问 UI，我尝试了这个 URL，但它不起作用。 http://my-preprodkubemaster01/api/v1/proxy/namespaces/kube-system/services/elasticsearch-logging/app/kibana 关于如何访问 Kibana UI 的任何想法。我检查了服务、部署，一切都是绿色检查。

我尝试的另一件事是这个 URL 和这个 URL 是我从命令 kubectl cluster-info https://10.123.24.107:6443/api/v1/namespaces/kube-system/services/kibana-logging/proxy获得的 但是，这个正在向我显示此错误

因此，作为另一次尝试，我将 Kibana 服务用作 NodePort，但这也不起作用。

我想知道我应该使用什么 URL 来访问 Kibana UI。请注意，我有 npot 尝试做 kubectl 代理，我想让它在没有它的情况下工作

我正在使用fluentd daemonset将 kubernetes 日志传输到 Elasticsearch/Kibana，它运行良好。现在的问题是在 Kubernetes 中运行了 3 4 个应用程序，它们具有不同的日志模式，它们在 pod 中运行，并且 pod 正在写入标准输出。我应该如何使用 fluentd 从不同的应用程序捕获这些日志并转发到 ES？

我想用应用程序的名称标记不同的应用程序日志。如果可能，请提供一个流利的配置块来实现相同的目的。

任何帮助都是不言而喻的。

我在 GCP 中构建的一个 kubernetes 集群中配置了一个有效的 EFK（Elasticesearch、Fluentd、Kibana）。我还有两个集群，并且在剩余的集群中也安装了相同的 EFK。现在如果我想监控每个集群环境的日志，那么我需要检查所有三个 kibana 控制台。请让我知道是否可以将构建在三个集群中的所有 EFK 集中起来，这样我就可以在一个 Kibana 控制台中查看我所有集群的 pod 日志。任何帮助或建议都会有所帮助。

我的 win10 上有 3 台虚拟机（VirtualBox centos 7.4）。我尝试配置 EFK 以便我可以监控日志。我有 1master + 2nodes，master 也有 kubelet。

我按照此链接的说明进行操作。我没有更改下载的 kubernetes/cluster/addons/fluentd-elasticsearch，

由于我使用的是特定于云的服务，因此我没有进行跟踪。

我将图像链接主要是中国镜像站点更改为 gcr.io。

在链接中，它说，

我在安装 Elasticsearch 时遇到了一个问题。无论出于何种原因，Elasticsearch 都不会自动将丢失的分片分配给服务器，因此必须将 shell 放入其中一个 elasticsearch pod，然后打开自动分片分配：

我按照指示，

但是我按照说明进行操作并收到错误，状态码 406。

任何提示。我能做什么？

我们使用 EFK-stack，其中 F 代表 fluent bit。在我的 kotlin spring boot 应用程序中，我使用 logback 和 logstash 配置日志记录如下

我们在 Kubernetes 中运行该应用程序。现在，有时对于非常冗长的异常，即以下情况，我们在 kibana 中看到未解析的日志条目。logger因此，kibana既没有检测到，也没有message，尽管这些字段在 json 中。

我是 Kubernetes 和集中式日志记录的新手。我已经从kubernetes 存储库在我的集群上安装了 EFK，并从 fluentd-es-ds.yaml 文件中删除了流动代码：

我安装了在 sout 记录的计数器 pod，但在 kibana 中找不到日志。为什么fluend没有找到日志？Kubernetes 将日志存储在哪里？

我必须提到我的集群在 centos 机器上运行。

编辑

我已经弄清楚了问题所在。我在机器上安装了 systemd，我的日志写在 journald 中。我发现所有日志都在主节点的“/run/log/journal”中。你知道我可以如何改变它，以便可以在每台运行 pod 的机器上找到日志吗？或者，如果您知道使用 fluentd 从 journald 获取日志的方法？

谢谢

MongoDB Replicaset 安装在 Kubernetes 中，EFK 是我们的日志堆栈，但是我们如何通过此设置将 MongoDB 访问和事务日志导入 kibana？Fluentd 的 Mongodb 插件是将日志存储到 Mongodb 中，而不是获取它的日志。

谢谢