问题标签 [filebeat]

我刚刚在 Windows 上构建了一个 ELK 服务器，所以我是这个过程的新手。我已通读文档，但无法解析我的 IIS 高级日志，尤其是 x-forwarded-for 数据，因为我们位于负载均衡器后面。

我的高级日志记录设置为输出如下数据：

我这样设置我的 logstash.conf：

我不认为这是正确的，因为我没有得到数据。我已经搜索了文档，但仍然遇到问题，并且不确定是否需要采取其他步骤，例如映射字段。

我目前正在使用来自一台服务器的 filebeat 将数据推送到我的 ELK 服务器。我不确定这是否也是最好的方法（也许是 nxlog？）。我们不想在客户端机器上安装 logstash。

有人可以帮帮我吗？这将不胜感激！！

谢谢，乔治

通过以下方式安装了 ELK 服务器：https ://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-centos-7

除了filebeat连接之外，它似乎可以工作；filebeat 似乎没有转发任何东西，或者至少我在日志中找不到任何东西来表明正在发生任何事情。

我的filebeat配置如下：

我不断从 filebeat 获得的日志文件输出并不是很有帮助：

我的配置文件有什么问题吗？

当我在 ELK 服务器上测试以查看是否得到任何东西时：

哦，还有我的 filebeats 的 logstash 配置：

更新：它不是文件节拍。确实传递了消息，但仍有一个我无法跟踪的问题，这让我松了一口气：

发现导致问题的不是filebeat。似乎logstash中要发送到elasticsearch的配置文件没有正确标记索引（和类型）以使其可搜索，如问题所示。它没有将 filebeat 放在索引名称中，而是给出如下结果：

放入文件中的 elasticsearch 输出结果在

显然这个@metadata 没有被正确传递。有没有人能够正确填充 _index 和 _type 字段？？？

这可能是filebeat的错误？？ https://github.com/logstash-plugins/logstash-input-beats/issues/6

我有 apache 日志的 grok 过滤器，如下所示：

我想在 kibana 中为搜索 type="apachelogs" 创建一个可视化。O正在使用filebeat。所以我的搜索查询是

我想要X 轴上的 apachetime 和Y轴上的微秒。但是在 Y 轴上，除了默认字段（总和、计数、聚合）之外，我没有得到任何字段。

请帮忙。我不知道我做错了什么。

我正在使用带有 ES 的 filebeat 作为输出。我已经指定： input_type: log document_type: apache paths: - /var/log/httpd/*_log in /etc/filebeat/filebeat.yml 并且能够在 Kibana 中成功查看结果。然而，我正在玩“Watcher”并尝试基于 http 返回码 404 创建一个手表，我在我的 Kibana 文件节拍结果中看不到与“404”相对应且仅对应于“404”的字段，类似于“响应”，我恐怕我错过了一些东西，因为 filebeat 和 ELK 是大产品，我们将不胜感激。

我已经设置了 ELK Stack。当我在 kibana 中查询某种类型的日志事件时，它自启动以来给了我 20 个结果，这是正确的结果，但是当我使用 rest 查询或使用 curl 查询相同类型的日志事件时，它只返回 10 个结果。不知道这里出了什么问题。请注意，我正在两边的消息字段中查询一个字符串。
我的卷曲查询：看起来像这样：

我希望将我的 ES 版本从 2.3 更新到 5.0.0-alpha4，以便能够使用 Ingest 节点并删除 Logstash。但是，如果没有我将 vm.max_map_count 设置为 262144，似乎 ES 5.x 版本将无法启动。我不想设置该值..我可以使用默认值 65530。谁能指导我如何获得 ES 5。 x 开始时根本没有篡改内存设置。我无权访问我希望安装 ES 的主机上的 root 用户。
错误：

我想知道如何为提取到的不同日志创建单独的索引logstash（后来被传递到elasticsearch），以便在 中kibana，我可以为它们定义两个索引并发现它们。

就我而言，我有一些客户端服务器（每个都安装了filebeat）和一个集中式日志服务器（ELK）。每个客户端服务器都有不同类型的日志，例如redis.log，python日志、mongodb日志，我喜欢将它们分类到不同的索引中并存储在elasticsearch.

每个客户端服务器还服务于不同的目的，例如数据库、UI、应用程序。因此，我也想给它们不同的索引名称（通过更改输出索引filebeat.yml？）。

是否可以停止将日志从 filebeat 转发器服务器转发到 logstash 而不是使用 systemctl disable filebeat ？

我有这样的日志：

我想把他们推到kibana. 我正在使用 filebeat 将数据发送到 logstash，使用以下配置：

现在使用以下配置，我想更改编解码器类型：

但是，我仍然得到字符串格式的日志：

"消息": "{\"logId\":\"57aaf6c96224b\",\"clientIp\":\"127.0.0.1\",\"time\":\"03:11:29 pm\",\ "channelName\":\"JSPC\",\"apiVersion\":null,\"modulName\":null,\"actionName\":\"404\",\"typeOfError\":\"EXCEPTION\" ,\"statusCode\":0,\"message\":\"404 页面遇到 http:\/\/localjs.com\/uploads\/NonScreenedImages\/profilePic120\/16\/29\/15997002iicee52ad041fed55e952d4e4e163d5972ii4c41f881\510542330.jcc1 ",\"logType\":\"错误\"}",

请帮我解决这个问题。

我每天从 3 台服务器手动复制文件。由于安全原因，我无法设置自动转发器。所以我有 3 个目录 srvapp1 srvapp2 和 dbserver，我手动将文件复制到这些文件夹中。如何将这些文件推送到logstash？是否有用于更新格式为 app.log app.log.1 的 log4j 文件的工具...

当我完成这项工作并可以证明 ElasticSearch//LogStash/Kibana 的功能和有效性时，我可能能够说服管理层在生产/开发环境中正式使用它。

谢谢！