问题标签 [elastic-beats]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
259 浏览

elasticsearch - 我们可以从 Kubernetes pod 访问节点/主机进程吗?

有没有办法从 Kubernetes pod 访问底层主机/节点的进程,就像我们使用hostPath卷挂载访问主机/节点的文件系统一样?

PS:我正在尝试通过auditbeat在 Kubernetes 上部署为 pod 来监控节点进程。

0 投票
1 回答
663 浏览

elasticsearch - Kibana 无法加载仪表板的问题(退出:资源 'metricbeat-7.5.0' 存在,但它不是别名)

我已经安装了 metric-beat ,但无法为 mongodb 加载他的 kibana 仪表板。

我遇到错误,[10.0.1.1:9300][indices:data/read/search[phase/query]] 原因:java.lang.IllegalArgumentException:默认情况下,文本字段上的字段数据被禁用。在 [service.address] 上设置 fielddata=true 以便通过反转倒排索引将 fielddata 加载到内存中。请注意,这可能会占用大量内存。或者,改用关键字字段。在 org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:759) ~[elasticsearch-7.5.0.jar:7.5.0]

在客户端显示“退出:资源'metricbeat-7.5.0'存在,但它不是别名”

0 投票
1 回答
136 浏览

elastic-stack - Filebeat 的替代品

我们正在尝试为我的项目实施 ELK,我对这个堆栈非常陌生。

现在,由于旧版本的 Linux,我们面临着在我们的服务器中配置 Filebeat 的挑战。

谁能推荐一个轻量级的文件传送器解决方案作为 Filebeat 的替代方案?

0 投票
1 回答
47 浏览

elastic-stack - 是否使用 docker 运行 Beats?

作为 Beats 的数据运输者,他们假设从机器上运输文件、指标等,使用 docker 运行 beats 是否是一种好方法,因为通过这种方式,beats 是容器化的?

我目前有一个问题,我想从应用程序发送日志文件,如果我使用 docker 安装 filebeats,我必须以某种方式将日志提供给容器。用 docker 做这样的事情是一个好方法,还是我通常应该安装 Filebeats,在没有容器的机器上配置和运行它?

0 投票
1 回答
1212 浏览

elasticsearch - Metricbeat WARN 无法索引事件

我看过一些这样的帖子,但没有一个能解决我的问题,所以:

我按照本教程创建了一个弹性集群:https ://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls-docker.html

我已经设置了内置密码,我可以访问弹性搜索

我将证书颁发机构复制到主机(我将在其中运行 metricbeat),如下所示:

我可以检查证书是否存在:

到目前为止一切顺利,然后,我按照本教程安装了 metricbeat: https ://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-installation.html

并在以下位置设置以下配置/etc/metricbeat/metricbeat.yml

metricbeat我在 Kibana 中创建 的用户如下: https ://www.elastic.co/guide/en/beats/metricbeat/current/feature-roles.html

基本上,我创建了一个名为metricbeat_setup集群权限monitormanage_ilm索引权限manage的角色,然后,metricbeat-*我创建了具有角色、、、、、的metricbeat用户metricbeat_setupkibana_adminingest_adminbeats_adminbeats_system

我想我的问题可能在这里,我不太了解必要的权限,所以我只是矫枉过正,无论如何,继续......

我运行了设置sudo metricbeat setup -e,一切正常,设置中没有错误,然后我用 启动它sudo service metricbeat start,但没有任何东西进入弹性搜索,当我查看时sudo service metricbeat status,我得到多行WARN Cannot index event

我试图查看日志,/var/log/metricbeat/但在那里没有发现任何有用的信息,在 docker 的弹性搜索日志中也没有发现有用的信息。

创建 metricbeat-* 索引并分配分片:

所以,拜托,我在这里错过了什么?我在日志或帖子中找不到任何相关信息,我在这里看到帖子说这与磁盘空间不足有关,我有 14G 可用空间,所以我想这不是问题。另外,我知道 metricbeat 可以连接到 elasticsearch 和 kibana,因为它能够创建索引和仪表板,我可以在 kibana 中打开仪表板但没有数据。

我究竟做错了什么?

谢谢

0 投票
0 回答
29 浏览

filebeat - 如何使用 filebeat 处理重叠日志?

有没有办法用filebeat处理重叠日志?这是我所拥有的样本:

一个事件以 >> 开始并以 << 结束,具有相同的线程号提前谢谢!

0 投票
1 回答
2523 浏览

elasticsearch - Elastalert 在一个文件中简化了多个规则

我正在Elastalart为心跳编写规则,即如果服务或机器停机,我应该得到通知。现在我可以为每个文件创建一个服务规则,如下所示。

有什么办法,我可以指定多个规则吗??...我可以指定多个过滤器,如下所示

但 Elatalert 考虑num_events所有过滤器。例如,我不想对获得Filter 13 次点击和Filter 22 次点击的情况发出警报,即 3+2=5 等于num_events.

那么,有什么方法num_events可以检查每个过滤器吗?就像如果Filter 1获得 5 次点击并Filter 2获得 3 次点击,那么我可以确认MY_LOCALHOST01真的是 DOWN 并发送警报。

我不想要多个文件。很难管理/修改。

0 投票
0 回答
34 浏览

postgresql - postgresql.database.blocks.time.read.ms 始终为 0

我正在为 postgres 使用 ELK 7.8 metricbeat。我观察到 postgresql.database.blocks.time.read.ms 始终为 0。但是其他数据库矩阵都很好。你能帮我理解为什么 blocks.time.read 总是 0。

在此处输入图像描述

0 投票
0 回答
103 浏览

logstash - Filebeats 说下线但仍然在 Kibana 中看到

我正在研究ELK 堆栈。我正在尝试将 wso2 应用程序日志推送到 Elastic Search。

我将 Filebeats 配置为读取包含DCS.

我在终端中看到filebeats日志,因为删除行与提供的模式不匹配。

但是我在 Kibana 中看到了相同的日志

在此处输入图像描述

文件节拍.yml

logstsh-beat.conf

我不明白为什么如果它与模式不匹配,beats 会发送一条线

0 投票
1 回答
229 浏览

elasticsearch - 使用 ELK 处理来自同一台机器的多个日志

我有一个包含多个日志文件的主机。2 个这样的日志文件是 csab 和 oneapplogs。

对应的 Groks 是

操作日志:

csab :

当我尝试通过logstash将两者都发送到Elasticsearch时,作为不同的日志,我有两个单独的logstash conf文件,它们具有不同的端口用于从filebeats输入。

我无法同时运行不同的文件节拍。我已经读过要这样做,我需要在机器中配置完全独立的 filebeat 实例,但我有 60 多个日志,因此设置 60 个实例似乎具有挑战性。

有没有办法通过1个filebeats实例将所有文件发送到logstash,然后使用logstash将所有日志处理成多个不同的输出以进行elasticsearch。

更简单的解释

我在同一台机器上有 2 个日志。我需要使用 ELK 处理它们

我已经配置了一个具有两个管道的logstash服务,两个管道都给出了单独的端口。假设 Pipeline1(端口 5044),Pipeline2(端口 5045)

现在我想使用filebeat将数据发送到logstash。所以我有两种类型的日志文件,比如说 log1,log2。

我想将 log1 发送到 Pipeline1 并将 log2 发送到 Pipeline 2。

这是否可能仅使用 1 个 filebeats 实例。

或者是否有其他解决方法可以处理来自同一主机的不同日志?

任何帮助或建议将不胜感激。非常感谢 !!