问题标签 [efk]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
5663 浏览

elasticsearch - Kubernetes 上的弹性搜索 6.3.0 的就绪和活跃度探测失败

我正在尝试在 Kubernetes 上设置 EFK 堆栈。使用的 Elasticsearch 版本是 6.3.2。一切正常,直到我将探针配置放在部署 YAML 文件中。我收到如下错误。这导致 pod 被声明为不健康并最终重新启动,这似乎是错误的重新启动。

警告 Unhealthy 15s kubelet, aks-agentpool-23337112-0 Liveness probe failed: Get http://10.XXX.Y.ZZZ:9200/_cluster/health : dial tcp 10.XXX.Y.ZZZ:9200: connect: connection拒绝

我确实尝试使用来自不同容器的 telnet 到具有 IP 和端口的 elasticsearch pod,我成功了,但只有节点上的 kubelet 无法解析 pod 的 IP,导致探测失败。

以下是 Kubernetes Statefulset YAML 的 pod 规范的片段。对决议的任何帮助都会非常有帮助。在没有任何线索的情况下花了很多时间:(

PS:堆栈正在 AKS 群集上设置

没有探针,吊舱/容器运行得很好。期望在部署 YAML 上设置时探针应该可以正常工作,并且 POD 不应该重新启动。

0 投票
1 回答
171 浏览

kubernetes - EFK Kubernetes 日志聚合

我正在将 EFK 堆栈安装到 100 天前的集群。Fluentd 将提取 100 天的日志并开始发送到 Elastic。是否有规定 fluentd 从今天开始聚合日志,而不是从集群的生命周期开始?

0 投票
1 回答
738 浏览

kubernetes - 使用fluentd,我只想从json数据中输出一个关键数据

我想将 kubernetes 日志输出到文件中。但是,我只能将其输出为 json 数据。我只想将“消息”部分输出到文件。

如何选择“消息”进行打印?我应该选择哪种过滤器?

感谢!

0 投票
2 回答
585 浏览

elasticsearch - 我可以将单个 elasticsearch/kibana 用于多个 k8 集群吗?

您是否知道任何不允许在多个 k8 集群中使用单个 ES/kibana 作为 fluentd 目标的问题或要求?

我们正在设计推出一个新的 kubernetes 模型。我有运行多个 kubernetes 集群的要求,比如说 4-6。即使工作负载被拆分到多个 k8 集群中,我也不需要拆分日志记录,并且相信在一个集中位置找到所有集群中 pod 的日志会更容易。对 kibana/elasticsearch 的维护也更少。

使用 EFK for Kubernetes,我可以将来自多个 k8 集群的 Fluentd 指向单个 ElasticSearch/Kibana 吗?我不认为我是第一个有这种想法的人,但是我找不到任何关于这样做的讨论。发现了很多关于设置 efk 的讨论,但我发现的所有讨论都只讨论了一个 k8 到它自己的 elasticsearch/kibana。

有没有其他人走上了使用单个 es/kibana 为来自多个 kubernetes 集群的日志提供服务的道路?我们将继续测试它,但看看是否有其他人已经走上了这条路。

0 投票
1 回答
302 浏览

elasticsearch - 使用 Fluentd 发送到 Elasticsearch 后,日志未按顺序显示

我们在 Kubernetes 中部署了一个应用程序,所有应用程序都配置为记录到标准输出。我们使用 fluentd DaemonSet 从/var/lib/docker/containers/文件夹中收集日志并将它们发送到 ElasticSearch 集群。/var/lib/docker/containers/和两者中的 k8s 聚合日志文件kubectl logs <podname>都有订单应用程序中的日志行正确生成它们。ElasticSearch集群连接了一个Kibana实例,显示的日志是按 排序的@timestamp,这里的日志顺序是错误的(和flie中的顺序不一样)。由于应用程序的性质,在同一个日志中产生了多个日志@timestamp,只有那些没有正确排序。从 fluentd 发货时有没有办法发送行号或偏移量(递增数字)并使用以下组合@timestamp以及正确排序的值?kubectl logs <podname>还是有另一种方法可以获得与索引后显示的顺序相同的顺序?

0 投票
0 回答
1482 浏览

kubernetes - StatefulSet pod 始终处于挂起状态

我是 Kubernetes 新手,并且正在遵循本指南

在本地集群上部署 EFK 堆栈。创建 statefulset.yml 文件后,当我尝试时kubectl create -f statefulset.yml,pod 永远不会启动。

跑步时kubectl rollout status ...我得到Waiting for 3 pods to be ready...

我正在使用 docker-desktop 集群。

0 投票
1 回答
41 浏览

logging - Openshift 应用程序日志转发到单个文件

如何将 Openshift 中的应用程序日志转发到文件系统上的单个文件?流利的可以吗?

BR

0 投票
0 回答
86 浏览

elasticsearch - 需要限制 Kibana 中的用户访问 EFK 中的特定应用程序日志

我想在多个用户之间实现弹性搜索和 Kibana 实例,多个用户可以拥有他们的应用程序(服务)并将他们的日志写入相同的不同文件中。但是当他们从 Kibana 登录时,他们只能看到他们的应用程序日志。我使用 Fluentd 作为日志收集器

0 投票
1 回答
232 浏览

amazon-web-services - 使用 EFK 堆栈从 kibana 上的 S3 获取 AWS 日志

我有一个在 EKS 上运行的 EFK 堆栈。如何从 S3 存储桶收集日志并通过 Kibana 查看它们?

0 投票
0 回答
81 浏览

kubernetes - EFK - 按将出现在 Kibana 中的容器预配置过滤器

在这个插件之后,我在 kubernetes 上安装了 EFK 堆栈:https ://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

我想要实现的是将同一个 pod 的所有日志放在一起,甚至可能还有其他一些过滤器。但我不想在 kibana 中使用 GUI 配置过滤器,我想让它们预先配置为我的一些已知容器(我要监视的容器)之前配置并在 kibana 时安装而不是而不是使用额外的步骤来导入/导出它们。我希望预定义的过滤器在安装后立即可以转到“发现”,选择我想查看的 pod 名称,然后我会看到以下格式的所有日志:

据我了解,我第一次使用这项技术几乎为零,在 fluentd-configmap.yml 中使用正确的参数应该可以解决问题,但我的尝试都没有改变我在 kibana 中看到的内容。

我是否在寻找正确的位置来执行此操作,或者此过滤器不适合此用途,我完全是在浪费时间?在任何情况下我怎么能做这个过滤器?

任何帮助,即使只是一个提示,将不胜感激。