问题标签 [elastic-beats]

我试图通过将 conf 文件设置为 - 来实现让 Logstash 监听 2 个不同的节拍端口 - 一个用于 filebeat，一个用于 winlogbeat

但似乎，当容器是从这个 logstash 图像中创建的时，它只显示 5044 正在被监听，在 netstat -an 列表中

Logstash 一次只能听 1 个节拍输入吗？让 filebeat 和 winlogbeat 在他们自己的配置中将事件发送到 SingleIP:SinglePort for Logstash 是否有缺点？

我正在尝试在我的 metricbeatbeat 配置中使用密钥库值，但我似乎无法让它工作......

我创建了 initContainer，因为我只是在创建密钥库并在 ES_PWD 中添加我的弹性搜索密码！

[在 initContainer 和实际容器之间共享卷！]

在实际的 metricbeat 容器中尝试运行 metricbeat 服务但它没有启动。(./metricbeat --path.config=/usr/share/metricbeat/keystore -c /etc/metricbeat.yml -e)

但是 pod 正在运行，但 metricbeat 服务没有在其中启动！

如果我执行到 pod 并手动复制 metricbeat.keystore 并且如果我尝试手动运行 metricbeat 服务，那么它正在运行。

我发现了一个类似的问题：https ://discuss.elastic.co/t/using-keystores-not-working-v6-6-0/167301

但是，我无法每次都手动执行此操作，因为我的 metricbeat pod 部署为 daemonset 并部署在我的 K8s 集群中。

提前致谢。

我在集群中部署了 filebeat 7.12 以使用自动发现从 kubernetes 日志中收集事件。

事件正在 NRT（近实时）中收集我希望的所有 pod，但在一段时间（1 或 2 小时）后仅停止收集 2 到 3 个 pod。

大约有 260 个 Pod，其中每 10 到 15 分钟生成 240 个 Pod。Filebeat 正在收集日志，成功收集并发送这 240 个 pod 以及除了 2 到 3 个 pod 之外的大多数其他 pod 的事件。

这与 filebeat 将事件发送到 logstash 或直接发送到控制台时的行为相同。当不再生成 240 个 pod 时，最后收集这 2 到 3 个 pod 的缺失事件。

更新了 filebeat 配置以不从这 240 个 pod 收集事件。这次为 NRT 中的所有 pod 收集事件。

尝试调整许多参数，如 max_procs、close_inactive、ignore_older、output.logstash.workers、output.logstash.bulk_max_size、queue.mem.events、queue.mem.flush.min_events 和 queue.mem.flush.timeout，但它们都没有解决问题。

资源分配 - RAM - 2 到 4 GB 和 CPU - 2 到 4 个核心

每个工作节点上运行 4 个 filebeat pod。CPU 指标 -

内存指标 -

添加我正在使用的 filebeat 配置。

我希望从 NRT 中的所有 pod 中收集所有事件。这里的任何建议将不胜感激。

我必须在 AWS-EC2-Windows 服务器上设置 jboss，这将根据要求进行扩展。我们正在使用 ELK 进行基础设施监控，将在此处安装beats，将数据发送到本地logstash。在那里，我们使用主机名和 IP 登录服务器。现在的问题是：在自动缩放的情况下，我们如何实现这一点。

请指教。

谢谢， 阿布舍克

我从 logstash 中的 filebeats 接收数据，但没有看到 [log][file][path] 的值。我看到其他人在 logstash 数据中获取数据，以下是我收到的数据。日志路径中没有来自 beat 的数据。预先感谢您的帮助。

我有一个文件夹结构

从我的剧本中，我将其称为如下：

但这似乎不起作用。注意：beat_conf: 接受“值的映射结构”，因此对 yml.j2 文件的任何调用都必须采用相同的形式。

另外，我如何为角色调用多个节拍？是这样吗？或者有更清洁的方法。

谢谢

只是为了提供更多背景信息：我正在尝试使用需要强制参数 beat_conf 的 Ansible elastic.beats 角色 [https://github.com/elastic/ansible-beats]。

此参数接受以下格式（映射）的值：

但是，输入可以放在单独的文件（$root/templates/filebeat-inputs.yml.j2）中，如下所示：

[参考：https://www.elastic.co/guide/en/beats/filebeat/7.12/configuration-filebeat-options.html]

如何调用此文件 ($root/templates/filebeat-inputs.yml.j2) 以便在目标上生成的最终 filebeat.yml 文件具有以下格式：

https://github.com/elastic/beats/blob/master/filebeat/filebeat.yml

我在 ELK 论坛上搜索过，没有收到任何答案。我在此处链接了此任务“Logstash configuration to global mutate sub index patterns”，它得到了正确解决-logtsash配置有效，我能够将所有内容全局转换为字符串作为索引模式。

但是，当我将此配置设置为不是从本地保存的静态日志文件而是从节拍输入流中工作时，由 Stackoverflow 上的 badger 链接的配置（Ruby 过滤器）不起作用。你认为用那个红宝石过滤器可以做到吗？

在节拍输入流上应用该编辑后，“typeD”到“string”的全局转换根本不起作用，并导致冗余错误。

我的beats配置如下：

我们如何在弹性代理日志进入 Elasticsearch 集群之前为其添加威胁情报数据？

我正在尝试根据该日志中存在的详细信息向每个日志添加一些新字段。

示例：如果您考虑 VirusTotal

根据我们的弹性代理收集的进程名称，我需要通过计算其 Virustotal 分数在每一行中再添加一个字段。

我们如何添加那个额外的字段？

我正在使用 auditd 模块运行 AuditBeat，并且我注意到一些过滤规则在创建事件和 AuditBeat 发布事件之间增加了显着延迟。

例如：考虑以下规则，它过滤掉不是 message_types PATH、SYSCALL 或 CWD 的事件。

从 AuditBeat 日志中：

可以看出，在触摸事件发生之前有 2 秒的延迟，该事件由 Auditbeat 发布：

对比

但是，排除“黑名单”而不是“白名单”似乎不会引入相同延迟的过滤器。

考虑以下过滤器，它们定义要排除哪些 message_types，而不是不排除哪些 message_types：

从 Auditbeat 日志中：

从日志中可以看出，时间差要合理得多：

对比

由于有很多不同的 message_types ( https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/security_guide/sec-audit_record_types ) 使用第一条规则显然更方便，而不是一个 100 多岁的规则来捕获我不感兴趣的所有 message_types。

我想知道是什么导致了这种延迟，以及是否可以以某种方式规避它。

我正在尝试计算three节点 es 集群中总内存的良好平衡。

如果我有三个节点集群，每个集群都有32G内存，8vcpu。哪种组合更适合平衡所有组件之间的内存？我知道不会有固定的答案，但我只是想尽可能准确。

将使用不同的 elasticsearch 组件是beats(filebeat, metricbeat,heartbeat), logstash, elasticsearch, kibana.

该集群的大多数用例是，应用程序日志被索引并对其运行查询，例如通过 curl 调用获取 7 天、30 天的平均响应时间、过去 24 小时、7 天等有多少不同的状态代码，所以聚合将被使用，其他用例正在监控，通过 kibana 查看日志但没有 ML 作业或仪表板创建等。

经过以下官方文档后，建议设置堆大小如下，

logstash-

https://www.elastic.co/guide/en/logstash/current/jvm-settings.html#heap-size

典型摄取场景的推荐堆大小应不小于4GB且不大于8GB.

elasticsearch-

https://www.elastic.co/guide/en/elasticsearch/reference/current/advanced-configuration.html#set-jvm-heap-size

设置Xms和Xmx不超过50%您的总内存。Elasticsearch 需要内存用于 JVM 堆以外的用途

Kibana-

我还没有找到 kibana 的默认或推荐内存，但在我们的单节点8G内存测试集群中，它占用1.4G了总数 ( 256 MB/1.4 GB)

beats-

没有找到节拍的默认或推荐内存，但它们也会消耗或多或少。

下面的理想组合应该是什么？

1. 32G= 16G 用于操作系统 + 16G 用于 Elasticsearch 堆。
   对于来自 16G 操作系统的 logstash 4G，说三个节拍将消耗 4G，kibana 2G
   这使得操作系统只有 6G，如果将来必须安装任何新组件，比如 APM 或任何其他相关的操作系统，那么它们都将只有 6G 和操作系统.

以上是所有组件的官方建议。（即OS 50%，es 50%）

2. 32G= 8G 用于弹性搜索堆。（25% 用于 elasticsearch）
   logstash 4G + beats 4G + kibana 2G 剩下
   14G 用于操作系统和任何未来的组件。

我错过了一些可以改变这种记忆组合的东西？

任何通过改变上述组合或任何新组合的建议表示赞赏。

谢谢，