问题标签 [efk]

Filebeat向redis填充数据失败

打开dbug查询但不知道是什么原因。帮我找出原因。谢谢

filebeat config 在此处输入图像描述 redis log 在此处输入图像描述

文件节拍日志

我有来自各种来源的日志，日志的格式是

我想将这些日志推送到索​​引为 batch_id 的弹性搜索中，我该如何实现？问题是我在某些行中有 batch_id，而不是在所有行中。我已经编写了自定义解析器来将日志转换为 JSON

td-agent.conf 是

此外，使用 EFK 堆栈进行日志聚合的最佳实践是什么？

我正在 k8s 集群上创建一个 EFK 堆栈。我正在使用此处描述的 EFK 舵图。这将创建两个 PVC：一个用于 es-master，一个用于 es-data。

假设我为每个 PVC 分配了 50 Gi。当这些最终填满时，我想要的行为是让新数据开始覆盖旧数据。然后，我希望将旧数据存储到例如 s3 存储桶中。如何配置 Elasticsearch 来执行此操作？

我有 EFK 堆栈，想在 Openshift 中将 nginx 日志解析添加到 fluentD。我阅读了https://docs.fluentd.org/v1.0/articles/parser_nginx 但我不明白如何在守护程序集中添加插件。如何在 fluentd 中添加插件来解析日志。

我已经在 Kubernetes 上设置了 EFK，目前我只能访问来自 logstash 的日志，但想知道如何为 Fluentd 安装一些插件以便从例如获取一些日志。我用作反向代理的 NGINX？有人可以指出我如何在 k8s 上配置 EFK 以及围绕它的最佳实践是什么？在 k8s 上，我有例如。Express JS 中的 API 服务。

我正在使用以下配置让 fluentd 读取 auth.logs 并将其发送到弹性搜索，但我遇到一个错误，提示模式不匹配并且日志未推送到 ES。

我正在使用 fluentd syslog 解析器插件rfc3164-pattern中定义的模式

输出错误：

2019-04-16 08:00:50 +0000 [警告]：#0 模式不匹配：“4 月 16 日 08:00:50 主机名-1415 sshd [15134]：pam_unix(sshd:session)：为用户 ubuntu 打开会话by (uid=0)" 2019-04-16 08:00:50 +0000 [警告]: #0 模式不匹配: "Apr 16 08:00:50 hostname-1415 systemd-logind [1138]: 新会话 10用户 ubuntu。”

当日志文件包含单个多行日志时，td-agent 无法从行发送日志。在添加新行之前，td-agent 不会获取日志

在 Windows 机器上安装了 td-agent。将 td-agent.conf 文件配置为从包含单个多行日志的文件中选择日志。在向文件添加新行之前，不会发送日志

td-agent.conf

abc.txt 日志文件：

2019-04-12 12:09:45 INFO abc.java 异常发生在 com.****************** 在 com.*************** *********** 在 com.************************

日志应该流向kafka，但它没有

我正在设置一个 EFK 堆栈，它按预期工作，但有一些我想解决的缺点。

1. 如果我的 fluentd 实例未运行，则使用该 fluentd 日志驱动程序的其他容器将无法启动。这是一个相当大的问题，因为主应用程序现在依赖于我的日志聚合器。

2. 使用 fluentd 日志记录驱动程序时，我不再能够在运行时在命令行中查看日志docker-compose logs。虽然这在很多时候都可以，但日志聚合器可能存在问题（可能是破坏了所有容器的情况），您现在无法轻松查看日志。您是否能够使用多个日志记录驱动程序或其他解决方法？

码头工人-compose.yml：

我正在使用php 语言开发一个新的微服务，我希望将日志记录发送到efk服务器。

我应该在我的 php 应用程序中使用什么日志记录框架？

我怎样才能只发送应用程序日志（没有整个 syslog 或 apache 服务器日志）？

I have a PHP app deployed with Dockerfile, using EFK stack (Elasticsearch, Fluent-d, and Kibana) and I'm using "Logger\FluentLogger" plugin to send the log to the elasticsearch.

$logger = new FluentLogger(FLUENTD_ENDPOINT, FLUENTD_PORT); $logger -> post("c", array("message"=>"executed query: ..."));

When I build the docker image I export two variables :

RUN export SERVICE_VERSION=$(head -n 1 .version) && export BUILD_TIMESTAMP=$(head -2 .version | tail -1)

I want to write these two variable with every logging operation. I want also to display the container name like this: output example