问题标签 [efk]

我有 1 个主节点和 5 个节点的 k8s 集群。我正在使用 ref 设置 EFK：https ://www.digitalocean.com/community/tutorials/how-to-set-up-an-elasticsearch-fluentd-and-kibana-efk-logging-stack-on-kubernetes#step -4-%E2%80%94-creating-the-fluentd-daemonset

在创建 Fluentd DaemonSet 时，1 out 5 fluentd 处于 ImagePullBackOff 状态：

admin@ip-172-20-58-79:~$ kubectl describe po/fluentd-8ghjq -n kube-logging

Kubelet 登录无法运行 Fulentd 的节点 admin@ip-172-20-58-72:~$ journalctl -u kubelet -f

Kubelet 登录运行 Fulentd 成功的节点 admin@ip-172-20-63-147:~$ journalctl -u kubelet -f

我是 Fluentd（和洞 EFK 堆栈）的新手。我有 Fluentd 将日志发送到 Elasticsearch（都在 Kubernetes 中），我正在尝试找到一种方法来查找缓冲区最后一次（成功）刷新发生的时间。

我可以想到两种方法，但两者看起来都像解决方法并导致其他问题：

1. 在 Fluentd 和 Elasticsearch 之间使用一些代理
2. 以某种方式使 fluentd 自己记录更多日志并检查正确的日志。

还有其他更漂亮的方式吗？

我有一个 Kubernetes 集群，有 2 个节点，我在其上运行 EFK 堆栈（es + fluentd + kibana），flunetd 在守护程序集上运行，这意味着它运行两个 pod，每个节点上一个。

但是，我想知道如何为我设置为 singleNode 的 es 配置 discovery.type。换句话说，它是否取决于我的集群节点的数量，我应该运行es的多个副本吗？

我在我的 kubernetes 集群中运行 EFK 堆栈，但是每次启动 kibana 仪表板时，我都需要手动导入 export.ndjson 我听说所有 kibana 对象都存储在 elasticsearch 中，因此将此文件安装到 /usr/share/elasticsearch /data/ 但仍然无法在仪表板中看到它。

这是我的 yaml 文件：

基巴纳：

埃斯：

我使用 EFK (elastic,fluentd,kibana) 来分析我的服务器日志。如果发生特殊情况（例如日志异常），我希望它向我发送通知

我发现它在 kibana 和 elastic 中被命名为监视或警报，但是由于我在服务器上使用弹性的基本模式并且我没有许可证，所以我无法使用它。

有什么方法可以启用它或其他有用的工具来完成这项工作吗？

谢谢

我正在尝试将日志转发到弹性搜索并陷入动态设置索引（按输入数据中的字段）。

我的输入数据格式是 JSON 并且总是有键“es_idx”。我希望通过该键转发到elasticsearch并添加时间戳，我使用logstash_formattrue来实现时间戳功能并logstash_prefix设置“fluentd”以外的索引名称

这就是我的流利配置的样子：

使用以下输入 {"tenant_id":"test","es_idx":"blabla"} 时，我收到以下错误：

如果我将 logstash_pattern 设置为像这样的其他字符串：“logstash_pattern blabla”，它可以正常工作。

有谁知道可能是什么问题？

我正在尝试在生产 kubernetes 集群上部署 EFK 堆栈（使用 kubespray 安装），我们有 3 个节点，1 个 master + 2 个 worker，我需要使用 elasticsearch 作为 statefulset 并使用 master 节点中的本地文件夹来存储日志（本地持久性存储），我的配置是：

所以这是我的配置，但是当它被应用时，Elasticsearch 的两个 pod 之一仍处于待处理状态。当我对此 pod 进行 kubectl 描述时，这是我得到的错误：“1 个节点没有找到要绑定的可用持久卷”

我的配置正确吗？我必须使用 PV + storageclass + volumeClaimTemplates 吗？先感谢您。

这些是我的输出：

我正在尝试确定一种在 EKS 集群中处理日志的方法。想法是使用EFK。我们认为我们可以使用 fluentd 将日志推送到弹性搜索。但大多数博客使用 fluentd 将日志发送到 cloudwatch，然后使用 lambda 将 cloudwatch 日志发送到弹性搜索。为什么首选这种方法？将日志直接推送到弹性有什么缺点？

谢谢！

为安装了 ElasticSearch、FluentD 和 Kibana 的 kubernetes 集群配置 S3 中日志的长期保留的最佳方法是什么？

我已经在 Kubernetes 上部署了 EFK 堆栈，我收到以下错误消息，并且看起来 Fluentd 无法与 elasticsearch 通信。

[警告]：[elasticsearch] 无法与 Elasticsearch 通信，重置连接并重试。getaddrinfo：名称解析暂时失败 (SocketError)

[warn]: [elasticsearch] Remaining retry: 11. Retry to communication after 16 seconds(s)

部署不同的 Helm 图表有什么不同！！？为 Fluentd 部署了 kiwigrid/fluentd-elasticsearch，为 elasticsearch 部署了 bitnami/elasticsearch，为 Kibana 部署了 stable/kibana。但是，可以从我的外部 Linux 机器 Ping 或 SSH 到 fluentd。EFK 堆栈在同一命名空间内运行。Rancher 工具监控整个集群，因此我看到了我的 Fluentd 日志。Kibana 和 Elasticsearch 的负载均衡器 IP 已设置。能够看到 Kibana UI 页面。

谁能支持这个问题？对 K8s 来说很新。