问题标签 [filebeat]

我正在运行 Filebeat 以从容器中运行的 Java 服务发送日志。该容器运行着许多其他服务，并且同一个 Filebeat 守护进程正在收集在主机中运行的所有容器日志。Filebeat 将日志转发到 Logstash，后者将它们转储到 Elastisearch。

我正在尝试使用 Filebeat 多行功能将 Java 异常中的日志行合并到一个日志条目中，使用以下 Filebeat 配置：

应聚合为一个事件的 Java 堆栈跟踪示例：

此 Java 堆栈跟踪是 docker log 条目的副本（在运行docker logs java_service之后）

尽管如此，使用上面显示的 Filebeat 配置，我仍然将堆栈跟踪的每一行视为 Elasticsearch 中的一个事件。

知道我做错了什么吗？另请注意，由于我需要使用 filebeat 从多个文件发送日志，因此无法在 Logstash 端进行多行聚合。

版本

FILEBEAT_VERSION 1.1.0

我正在使用filebeat将日志数据流式传输到logstash，但是每当我在日志文件中附加新行时，filebeat都会将整个数据发送到logstash。现在我想如果新数据（增量数据）被添加到我的日志文件中，那么只有数据被流式传输到logstash。在 filebeat.yml 中是否有一些我需要处理的配置。我当前的 filebeat 配置看起来像 -

如果一行以 03:32:33 （时间戳）之类的数字开头，我在匹配时正在编写 filebeat 配置。我目前正在这样做——

但它没有得到认可，还有什么我应该做的。我不是特别好/有正则表达式的经验。帮助将不胜感激。

我遵循了此处提到的所有步骤 readthedocs 但我的 filebeat 没有将日志发送到 URL http://localhost:9200/_search?pretty。

我的 filebeat.yml 文件是 - https://ghostbin.com/paste/rrjeh

如前所述，我没有配置任何logstash文件。

启动 filebeat 后我的注册表文件正在填充，并且 filebeat 日志（syslog）没有显示有关 filebeat 的错误

我正在尝试按照本教程设置 ELK Stack：https ://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14- 04

但是，Logstash 有一个问题：如果输出部分中有模式，则服务将停止，例如 index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

但是，对于常量字符串，它可以正常工作：index => "nginx_web"

有没有办法跟踪从 filebeat 传入的数据以检查有问题的部分？

logstash 2.3.2，文件节拍 1.2.3

这是一个完整的logstash.conf：

提前致谢！

我已将 FileBeat 作为服务安装，并设置了以下配置：

我也尝试过带有正斜杠的路径

启动服务时正在更改注册表文件，但在其他任何时候都不会更改，并且没有写入日志C:\fileBeatLogs\.

从 filebeat 索引日志时，我在 Elasticsearch 上遇到了 Mapper Parsing Error。

我尝试了 Filebeat -> Elasticserach 和 Filebeat -> Logstash -> Elasticsearch 方法。

我遵循了他们自己的文档，按照在 Elasticsearch 中加载索引模板的指示和验证安装了 filebeat 模板。文件节拍参考

我的 elasticsearch 通常可以与我的其他数据索引一起正常工作，我在 Kibana 上对其进行了测试。它是一个官方的 docker Docker Hub | 弹性搜索安装。

谷歌搜索了很多没有任何运气，因此，任何帮助表示赞赏。

更新 1：

ES 版本：2.3.3（我相信是最新的）

模板文件是 filebeat 附带的默认文件。

更新2： 你是对的，见

#/usr/share/filebeat/bin/filebeat --version filebeat version 5.0.0-alpha2 (amd64), libbeat 5.0.0-alpha2

虽然这是将 apache 日志发布到 logstash。但是我无法以正确的格式获取此 vhost_combined 日志

sub1.example.com:443 1.9.202.41 - - [03/Jun/2016:06:58:17 +0000] "GET /notifications/pendingCount HTTP/1.1" 200 591 0 32165 "https://sub1.example.com/path/index?var=871190" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"

"message" => "%{HOSTNAME:vhost}\:%{NUMBER:port} %{COMBINEDAPACHELOG}"

我需要使用 Geo IP 过滤以下 apache vhost 日志格式。这样 grok 才能理解并顺利工作。

准确的日志格式：

您会看到 %T 和 %D 标志在这里是多余的。

信息：

有什么建议么？

我正在使用 Filebeat > Logstash > Elasticsearch > Kibana 来解析和分析日志，基本上是 Java Stack Trace 和其他日志。

这是 Filebeat 的 YML

启用文件节拍的日志记录也不适用于 Windows。如果我在这里遗漏了什么，请告诉我。

问题 - Filebeat 有时无法将日志发送到 logstash，有时它会开始运行运输，但有时它不会。虽然如果我使用“test.log”作为探矿者并通过下面的配置将日志本地保存在磁盘上，它运行良好。

将文件写入本地文件以检查输出。我已经一一尝试了“文件”输出和“logstash”输出。

另外，当我使用命令行时，这些东西大多会运行。：

.\filebeat.exe -c filebeat.yml -e -v

请协助正确配置 Windows。日志文件“example.log”每 30 MB 大小轮换一次。

我不太确定使用以下属性以及它们将如何与 Windows 上的 Filebeat 一起使用。

“close_older” “ignore_older” “记录”

我是 filebeat 和 logstash 的新手。想知道如何访问自定义字段，在logstash端使用filebeat插入。

示例文件节拍：

现在我如何访问logstash端的samplevar？

Logstash 配置

但是 samplevar 没有返回任何值