我在docker中有以下设置：

• 应用程序 (httpd)
• 流利的
• 弹性搜索
• 木花

应用程序的 logdriver 的配置描述的是 fluentd 容器。日志将保存在 ES 中并显示在 Kibana 中。

当 logdriver 配置为这样时，它可以工作：

并且 fluentd 正在将其暴露的端口 24224 映射到主机的端口 24224 上。

但我不想在主机网络上暴露我的流利程度。我想在 docker 网络中保持“私有”（我只想在主机网络上映射应用程序和 kibana），如下所示：

端口 24224 仍然暴露（在 dockerfile 中），但它没有映射到主机网络上。现在我想更改我的应用程序的日志驱动程序的配置： 日志记录：驱动程序：“fluentd”选项：流利的地址：流利的：24224 标签：httpd.access

所以 fluentd 是 fluentd 容器的名称，它们在同一个网络中，但应用程序无法与其建立连接。

这可能是因为在撰写文件中的“链接”选项之前执行了日志记录选项？

有没有办法让这个工作？

我已经为使用 Filebeat 的集中式日志记录系统配置了 ELK-stack（Elasticsearch、Logstash 和 Kibana）集群。现在我被要求使用 Filebeat 重新配置为 EFK（Elasticsearch、FluentD 和 Kibana）。我已禁用 Logstash 并安装了 FluentD，但我无法使用 Filebeat 配置 FluentD。我已经为 Filebeat 安装了FluentD 插件并进行了修改/etc/td-agent/td-agent.conf，但它似乎不起作用。

td-agent.conf

我部署了 EFK 堆栈，用于使用 openshift 提供的标准 Ansible playbook 登录 openshift 3.6 集群。所以集群的每个节点上运行一个 fluentd pod，总共有两个 elasticsearch 容器。

我想暂时禁用一个流利的容器。当我删除 pod 时，由于 DaemonSet，几秒钟后会在其位置启动一个新 pod。我怎样才能延长流利的吊舱关闭的时间？

我无法让 Kibana 连接到 elasticsearch。我得到的错误如下；

plugin:elasticsearch@5.6.1 Request Timeout after 3000ms

Elasticsearch 已通过 kubernetes 部署，并作为名为monitoring-es的服务运行，集群 IP 为100.63.124.194。

在我的 Kibana.yml 文件中，我将 elasticsearch url 设置为；

elasticsearch.url：“ http://100.63.124.194:9200 ”

但是我仍然遇到同样的错误。这是正确的值还是我遗漏了什么？

谢谢

问题

EFK 中 K8S_HOST_URL 配置参数的作用是什么？在 EFK 中，K8S_HOST_URL 作为环境变量存在，它看起来被 fluentd 用于与 Kubernetes API 服务器通信，如 fluentd 配置的filter-k8s-meta.conf中所指定的那样。

寻找文档，但不在 OpenShift Aggregating Container Logs文档中。在谷歌中搜索，但找不到明确的答案。

请建议详细解释的文档。

问题

是否有已知的用于 journald docker日志记录驱动程序的 Fluentd 守护程序集，以便我可以将 K8S pod 日志发送到 Elasticsearch？

背景

与添加对 kubeadm 登录的支持一样，kubeadm 安装的 K8S 的默认日志驱动程序是 journald。

社区正在集体从磁盘上的文件转移到所有可能的地方，不幸的是，这将是一个倒退。...

您可以编辑 /etc/docker/daemon.json 以将其默认日志设置为 json 文件，并设置最大大小和最大文件以处理日志轮换。之后，日志将不会被写入 journald，您将能够将日志文件发送到 ES。

但是，如果我理解正确的话， K8S EFK 插件和Fluentd K8S或Tectonic 中的聚合日志仍然希望在主机的 /var/log/containers 中查找文件。

它看起来替代 fluentd docker 图像被设计为 fluentd-es-image 的替代品，看起来正在采用 journald 驱动程序。但是无法使其运行 pod。

我在 CentOs 7 中安装了 fluentD(td-agent) 版本 2。现在我无法启动 td-agent。在启动 td-agent 时它抛出了一些错误

-- 单元 td-agent.service 已经开始启动。2 月 2 日 14:53:39 chninitefk01 fluentd[2282]：/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems.rb:271:in find_spec_for_exe': can't find gem fluentd (>= 0.a) (Gem::GemNotFoundException) Feb 02 14:53:39 chninitefk01 fluentd[2282]: from /opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems.rb:299:in activate_bin_path' 2 月 02 日 14:53:39 chninitefk01 fluentd [2282]：来自 /opt/td-agent/embedded/bin/fluentd:23:in `' Feb 02 14:53:39 chninitefk01 systemd[1]: td-agent.service: 控制进程退出，代码=退出状态=1 Feb 02 14:53:39 chninitefk01 systemd[1]：无法启动 td-agent：Treasure Data 基于 Fluentd 的数据收集器。-- 主题：单元 td-agent.service 失败 -- 定义者：systemd

我尝试使用 安装 fluentD gem td-agent-gem install fluentD，但这没有任何区别。

我有一个流利的转发器，它给出以下错误：

以下是 td-agent.conf 文件中源代码块的内容

我通过在https://www.debuggex.com/上获取示例日志文件检查了正则表达式

我真的必须提供正则表达式吗？我不能告诉 fluentd 将完整的日志行作为原始消息吗？

任何帮助，将不胜感激。

当我尝试运行日志聚合时，我发现 elasticsearch 生成以下错误：

顺便说一句，我在 Ubuntu 机器 16.04 上使用 cri-containerd 在 minions 上运行 kubernetes 集群 v1.8.0，在 master 上运行 1.9.0。

任何帮助将不胜感激。

我正在使用 Ansible 在 OpenShift 3.7 中使用以下参数安装日志记录（EFK），

但它失败并显示消息，我不知道为什么，我尝试使用 openshift_logging_es_cluster_size=1 ，它可以正常工作。但我希望集群大小为 3。任何人都可以帮我解决这个问题 -