问题标签 [elastic-beats]

I want to install filebeat on my webfaction server in order to ship the apache logs to a hosted ELK.

I followed the instructions.

The filebeat connects wonderfully to the ELK cloud. However locally I cannot get past this error:

Indeed there is no /proc/1/cgroup just a /proc/cgroups file (note this is a shared server).

I have tried to find a way to disable cgroups but to no avail.

Any hints would be appreciated (the free trial will expire in 14 days :D )

Post Scriptum

Only the apache2 module is enabled, I thought disabling system will skip this cgroups check.

我需要一些帮助来查找所有主题的消息总数。

下面的文档有超过百万个主题、分区和偏移量。

我需要获得偏移总数：

我正在使用的查询是：

}

从 Elasticsearch 生成的日志有很多种（elasticsearch_index_indexing_slowlog.log elasticsearch.log elasticsearch_index_search_slowlog.log 等）。beats 世界中是否有任何模块，或者 Logstash 插件可以解析日志。我不想为这些日志编写自定义 grok。

我正在尝试将与我的 CentOS 7 相关的身份验证发送到 Elasticsearch。奇怪的是，我没有收到任何身份验证事件。

当我运行调试命令 auditbeat -c auditbeat.conf -d -e "*"时，我发现如下内容：

还有如下错误行：

机器细节

Audibeat 配置文件

Auditbeat 版本auditbeat 6.4.0 (amd64)、libbeat 6.4.0

有没有人遇到过类似的问题并得到解决方案？

注意： auditbeat 的此配置成功捕获了 Ubuntu 的身份验证事件

我需要为 auditbeat 数据的每个事件插入一个字段。也就是说每个文档都应该包含一个字段"enviornment": "production"

注意：我需要一个不涉及 Logstash 的解决方案

我怎样才能做到这一点？。

除了收集应用程序日志数据的 ELK 标准目标外，我还想利用此堆栈进行高级数据收集，例如 JVM 指标（通过 JMX）和主机的 cpu/ram/disk/network 利用率。

我认为最合适的是 using metricbeat，但我怀疑是否metricbeat足以满足上述目的。

由于我的目标是要配置最少的东西，是否足以Metricbeat收集，或者有一些更合适的替代方案？ElasticsearchKibanaapp logsapp jvm metricshost's hardware utilization

更新

哦，我现在明白了，filebeat除了metricbeat聚会之外，我还需要app logs。是否有任何开箱即用的单一解决方案结合filebeat和metricbeat代理？

我正在尝试以与从 Windows 命令行执行它的方式相同的方式执行 metricebeat，但通过在 python 脚本中使用 subprocess.Popen。

尽管我执行具有相同实现的其他进程并且它们工作并且不会终止，但该进程会立即启动和终止。

这是我的终止条件，它总是正确的，这就是它终止的原因。

有没有办法将metricebeat作为后台进程执行？或者我可以尝试什么想法

我有以下基础设施：

ELK 作为 docker 容器安装，每个容器都在自己的容器中。在运行 CentOS 的虚拟机上，我安装了 nginx Web 服务器和 Filebeat 来收集日志。我在filebeat中启用了nginx模块。

在开始 filebeat 之前，我使用 elasticsearch 设置它并在 kibana 上安装它的仪表板。

配置文件（我已经从文件中删除了不必要的注释）：

然后在 elasticsearch 和 kibana 中进行设置

这工作正常。事实上，如果我保持这种方式，一切都会完美无缺。我可以在 kibana 中使用收集的日志，并使用我通过上述命令安装的 NGinX 仪表板。

我想将日志传递给 Logstash。这是我的 Logstash 配置使用以下管道：

文件节拍.conf：

使日志通过 Logstash 生成的日志只是：

我的对象中缺少很多字段。应该有更多的结构化信息

更新：这是我所期待的

我已经设置了轮询端点并将数据存储到logstash的HTTP beat。我可以使用 Kibana 上的特定索引查看事件。间隔已设置为每 5 秒一次。

但是，我希望 ELK 堆栈捕获随时间变化的数据（增量馈送），而不是每 5 秒内的所有数据。有什么办法吗？

我的 HTTPbeat.yml 看起来像这样：

logstash.conf 如下：

如果我通过邮递员访问端点，则 JSON 正文大小约为 1.08 MB。但是在监控 Kibana 索引：test_jira2_idx 时，1 小时就已经是 340MB 并且还在不断增加。

这可能是由于 HTTP beat 每 5 秒不断轮询相同的数据。任何人都可以建议在 ELK 中实施增量提要提取的各种替代方案吗？

我查看了 logstash 的 HTTP_POLLER 输入 - 不确定这是否有帮助。

注意：我对 ELK 很陌生

我们可以使用一些帮助来了解如何将 Spark 驱动程序和工作日志发送到 Azure Databricks 之外的目的地，例如 Azure Blob 存储或使用 Eleastic-beats 的弹性搜索。

配置新集群时，get reg log delivery destination 的唯一选项是 dbfs，请参阅

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html。

非常感谢任何输入，谢谢！