问题标签 [elastic-beats]

我正在配置 auditbeat，但是我正在使用 logstash 过滤审计数据并发送到不同的接收器。话虽如此，auditbeat 在设置过程中会引发错误。任何有关如何配置 auditbeat 以绕过错误的提示，非常感谢。

收到以下错误：

我的配置如下（7.14.0版）：

我正在尝试仅使用 filebeat 和处理器来解析自定义日志。我不想使用 Logstash 和管道。

下面是一个日志样本：

然后，我需要获取日期2021-08-25 16:25:52,021并将其设为我的 _doc 时间戳，并获取并将其设为Event我的message.

经过多次尝试，我只能使用以下配置来剖析日志：

并获得以下输出：

我不知道如何制作dissect.@timestampas my @timestamp，以及如何将 as 解析dissect.event为 json 并将其制作为 my message。

那些怎么能做到？

我已经在 ServerA 上安装了 ELK 堆栈（使用 metricbeat），并想在 ServerB 上监控 mysql。我在 ServerA mysql.yml metribeat 模块文件（/etc/metricbeat/modules.d/mysql.yml）上添加了数据库主机详细信息

在我启动 metricbeat 而不是连接到 ServerB 后，它会尝试连接到 localhost(ServerA) mysql。

下面是错误

为metricset mysql.status获取数据时出错：错误1045：用户'mysql'@'ServerA的访问被拒绝...sing密码：是）

有人可以帮我弄这个吗？

我有一个网络爬虫，它可以爬取数千个网站并将其存储在 Kubernetes 上的持久卷中。

在该 pod 终止后，我想将 PV 内的 .json 文件摄取到 ECK 中。我已经成功运行弹性搜索和 Kibana。另外，我正在遵循快速入门指南。

需要更深入地了解在首次安装弹性代理期间如何实现身份验证工作流以及如何组织弹性代理与队列服务器的通信。

1. 使用哪种通信协议（GRPC/Web Sockets/WebHooks），为什么？
2. 服务令牌如何帮助验证用户？每当弹性代理尝试访问队列服务器时，每次都需要服务令牌吗？

所以我已经浏览了公开可用的文档，但需要对此进行详细分析。

我正在尝试构建一个代理，它可以像 beats 一样将机器数据摄取到 opensearch 中。为了管理这些代理，我正在考虑创建一个代理服务器来管理所有代理，将配置推送到代理并在需要时对其进行更新。为了实现这一点，我看到 Elasticsearch 使用了 gRPC。现在要从代理服务器到代理获取配置，最好的方法是使用 API 轮询、websocket、webhooks 或 gRPC。

我正在尝试使用 filebeat 将日志文件发送到 logstash。输入路径的文件夹结构目前非常多，非常大。我们有以下结构：

日志实际上并没有那么大，但该应用程序平均每天会生成 300.000 个新日志文件，具体取决于正在运行的工作流和任务。每个新创建的日志都会创建一个包含日志文件的新 execution_date 文件夹，最后，我们的结构难以管理。通过文件夹“查找”可能需要一周或更长时间，而某些工作流文件夹中的“ls”可能需要数小时。我什至编写了一个 python 脚本来使用 glob 计算文件和任务文件夹，但执行在一段时间后终止。

正如我所发现的，filebeat 正在使用文件路径/glob，所以我的问题是：filebeat 如何“遍历”输入？它可以与pythons glob相媲美，因此它会在一段时间后终止而没有任何错误日志吗？我可以假设 filebeat 在共享卷下无法处理这么多文件吗？

如果相关，我尝试从中收集日志的应用程序是 Airflow。

让我们假设一个条件，如果我在过去 15 分钟内有 500k 日志，这对我的弹性堆栈性能会更好

1. 有 10 个索引来保存这些 500k 日志。
2. 拥有 1 个索引来保存 500k 具有更多分片的日志。

这有助于提高我的仪表板性能有人可以帮助我吗？

问题陈述：我有一个在 Windows 上运行的应用程序。我想将此应用程序中的日志文件发送到 Kafka 前端的 ELK。

挑战：此应用程序将大量进程元数据写入目录位置下的磁盘。此信息对于应用程序的恢复很重要，因此存储在网络存储中以支持 DR。该应用程序还将日志写入同一目录位置，我们无法将日志与其他进程元数据分开。结果日志被写入网络共享。

我想将日志发送到 Elastic。我们通常使用节拍来做到这一点。但是，Filebeat 不建议从 Windows 上的网络存储传送日志。参考：https ://www.elastic.co/guide/en/beats/filebeat/7.11/filebeat-network-volumes.html 。我还阅读了各种 git 问题和 SO 帖子，人们抱怨 Filbeat 在翻转时停止收获。

由于这是一个网络共享，我也无法创建符号链接或连接链接来欺骗我的应用程序将日志写入硬盘。

有没有人解决过这个问题？

PS：我还在某处读到，logstash 可以更好地处理网络共享上的文件。但是，我不需要logstash，如果可能的话，我想避免它。此外，logstash 官方文档提到从 NFS 读取文件只是偶尔测试。它没有经过彻底的测试。

Filebeat 配置为使用来自 kafka 的输入并输出到文件

关闭多行设置时，输出将发布到文件中。但是当 kafka 输入配置为mutiline时，文件中没有输出（甚至没有创建文件）

这是相关的filebeat配置

输入配置

输出配置：

Filebeat相关日志

reader_multiline在日志中重复获得相同的四行

编辑：在 7.16 版中添加了对 kafka 多行解析器的支持