问题标签 [elastic-beats]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - 我们可以从 Kubernetes pod 访问节点/主机进程吗?
有没有办法从 Kubernetes pod 访问底层主机/节点的进程,就像我们使用hostPath
卷挂载访问主机/节点的文件系统一样?
PS:我正在尝试通过auditbeat
在 Kubernetes 上部署为 pod 来监控节点进程。
elasticsearch - Kibana 无法加载仪表板的问题(退出:资源 'metricbeat-7.5.0' 存在,但它不是别名)
我已经安装了 metric-beat ,但无法为 mongodb 加载他的 kibana 仪表板。
我遇到错误,[10.0.1.1:9300][indices:data/read/search[phase/query]] 原因:java.lang.IllegalArgumentException:默认情况下,文本字段上的字段数据被禁用。在 [service.address] 上设置 fielddata=true 以便通过反转倒排索引将 fielddata 加载到内存中。请注意,这可能会占用大量内存。或者,改用关键字字段。在 org.elasticsearch.index.mapper.TextFieldMapper$TextFieldType.fielddataBuilder(TextFieldMapper.java:759) ~[elasticsearch-7.5.0.jar:7.5.0]
在客户端显示“退出:资源'metricbeat-7.5.0'存在,但它不是别名”
elastic-stack - Filebeat 的替代品
我们正在尝试为我的项目实施 ELK,我对这个堆栈非常陌生。
现在,由于旧版本的 Linux,我们面临着在我们的服务器中配置 Filebeat 的挑战。
谁能推荐一个轻量级的文件传送器解决方案作为 Filebeat 的替代方案?
elastic-stack - 是否使用 docker 运行 Beats?
作为 Beats 的数据运输者,他们假设从机器上运输文件、指标等,使用 docker 运行 beats 是否是一种好方法,因为通过这种方式,beats 是容器化的?
我目前有一个问题,我想从应用程序发送日志文件,如果我使用 docker 安装 filebeats,我必须以某种方式将日志提供给容器。用 docker 做这样的事情是一个好方法,还是我通常应该安装 Filebeats,在没有容器的机器上配置和运行它?
elasticsearch - Metricbeat WARN 无法索引事件
我看过一些这样的帖子,但没有一个能解决我的问题,所以:
我按照本教程创建了一个弹性集群:https ://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls-docker.html
我已经设置了内置密码,我可以访问弹性搜索
我将证书颁发机构复制到主机(我将在其中运行 metricbeat),如下所示:
我可以检查证书是否存在:
到目前为止一切顺利,然后,我按照本教程安装了 metricbeat: https ://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-installation.html
并在以下位置设置以下配置/etc/metricbeat/metricbeat.yml
:
metricbeat
我在 Kibana 中创建
的用户如下: https ://www.elastic.co/guide/en/beats/metricbeat/current/feature-roles.html
基本上,我创建了一个名为metricbeat_setup
集群权限monitor
和manage_ilm
索引权限manage
的角色,然后,metricbeat-*
我创建了具有角色、、、、、的metricbeat
用户metricbeat_setup
kibana_admin
ingest_admin
beats_admin
beats_system
我想我的问题可能在这里,我不太了解必要的权限,所以我只是矫枉过正,无论如何,继续......
我运行了设置sudo metricbeat setup -e
,一切正常,设置中没有错误,然后我用 启动它sudo service metricbeat start
,但没有任何东西进入弹性搜索,当我查看时sudo service metricbeat status
,我得到多行WARN Cannot index event
我试图查看日志,/var/log/metricbeat/
但在那里没有发现任何有用的信息,在 docker 的弹性搜索日志中也没有发现有用的信息。
创建 metricbeat-* 索引并分配分片:
所以,拜托,我在这里错过了什么?我在日志或帖子中找不到任何相关信息,我在这里看到帖子说这与磁盘空间不足有关,我有 14G 可用空间,所以我想这不是问题。另外,我知道 metricbeat 可以连接到 elasticsearch 和 kibana,因为它能够创建索引和仪表板,我可以在 kibana 中打开仪表板但没有数据。
我究竟做错了什么?
谢谢
filebeat - 如何使用 filebeat 处理重叠日志?
有没有办法用filebeat处理重叠日志?这是我所拥有的样本:
一个事件以 >> 开始并以 << 结束,具有相同的线程号提前谢谢!
elasticsearch - Elastalert 在一个文件中简化了多个规则
我正在Elastalart
为心跳编写规则,即如果服务或机器停机,我应该得到通知。现在我可以为每个文件创建一个服务规则,如下所示。
有什么办法,我可以指定多个规则吗??...我可以指定多个过滤器,如下所示
但 Elatalert 考虑num_events
所有过滤器。例如,我不想对获得Filter 1
3 次点击和Filter 2
2 次点击的情况发出警报,即 3+2=5 等于num_events
.
那么,有什么方法num_events
可以检查每个过滤器吗?就像如果Filter 1
获得 5 次点击并Filter 2
获得 3 次点击,那么我可以确认MY_LOCALHOST01
真的是 DOWN 并发送警报。
我不想要多个文件。很难管理/修改。
elasticsearch - 使用 ELK 处理来自同一台机器的多个日志
我有一个包含多个日志文件的主机。2 个这样的日志文件是 csab 和 oneapplogs。
对应的 Groks 是
操作日志:
csab :
当我尝试通过logstash将两者都发送到Elasticsearch时,作为不同的日志,我有两个单独的logstash conf文件,它们具有不同的端口用于从filebeats输入。
我无法同时运行不同的文件节拍。我已经读过要这样做,我需要在机器中配置完全独立的 filebeat 实例,但我有 60 多个日志,因此设置 60 个实例似乎具有挑战性。
有没有办法通过1个filebeats实例将所有文件发送到logstash,然后使用logstash将所有日志处理成多个不同的输出以进行elasticsearch。
更简单的解释
我在同一台机器上有 2 个日志。我需要使用 ELK 处理它们
我已经配置了一个具有两个管道的logstash服务,两个管道都给出了单独的端口。假设 Pipeline1(端口 5044),Pipeline2(端口 5045)
现在我想使用filebeat将数据发送到logstash。所以我有两种类型的日志文件,比如说 log1,log2。
我想将 log1 发送到 Pipeline1 并将 log2 发送到 Pipeline 2。
这是否可能仅使用 1 个 filebeats 实例。
或者是否有其他解决方法可以处理来自同一主机的不同日志?
任何帮助或建议将不胜感激。非常感谢 !!