问题标签 [logstash-forwarder]

我只想将新创建的日志从logstash-forwarder 转发到logstash 服务器 我有一个logstash-forwarder.conf文件

我想知道是否有类似“start_position => end”的选项可以添加到这个配置文件中。我还尝试在运行 logstash-forwarder 时使用 -tail=true。它需要快照，但收割似乎没有注册事件。它仅在没有 -tail 命令行选项或给出 -tail=false 时才注册事件，这会从头开始转发所有日志。

Logstash 按标签过滤不同网站

问题：我在单个 IIS 服务器中有多个网站。我想为发送到 logstash 的每个日志文件添加一个“标签”

这是我的 logstash 转发器配置

每个日志文件代表一个不同的网站。所以我想为这些日志中的每一个添加标签，并能够通过这个特定的标签进行过滤。

"日志\svr05\ex*",

这是我为 logstash 配置的 IIS ..

假设我想发送日志不同的应用程序

app1.egov.mv app2.egov.mv

如何为这些不同的 IIS 应用程序添加标签？并在发现模块中过滤它们以使用标签为特定网站制作图表？:|

问候，

伊斯梅尔

所以最近我用位于两个 EC2 实例上的 logstash 转发器设置了 ELK 堆栈，将服务器日志转发到安装在另一个 EC2 实例上的 elasticsearch 和 kibana。在那之后，我意识到服务器 CPU 百分比一直在急剧上升，顶级进程始终是 java（它是 logstash-forwarder，因为服务器是用 node.js 编写的）。

我考虑过限制logstash-forwarder每分钟发送的请求数。但首先，我不确定这是否可以通过 logstash-forwarder 配置实现。其次，如果可行，是不是一次性发送大量日志数据而不是连续发送小块更好？

谢谢。

我目前正在使用 vbs 脚本来执行此操作

该脚本可以完美运行几个小时，然后无缘无故停止。谁能指出我的脚本有什么问题？如何添加 logstash-forwarder 以作为服务运行？我很难弄清楚如何做到这一点？

任何帮助表示赞赏。

我正在尝试使用 elasticsearch 和 logstash 索引一些简单的 XML 文件。到目前为止，我已经设置了 ELK-stack 和 logstash-forwarder。我正在尝试使用文档来设置 xml 过滤器，但我似乎无法正确处理。

我的 XML 格式非常简单；

我只希望每个文件都是 elasticsearch 中的一个条目，并且 DataFile-tag 中的每个参数都是我可以搜索的键值。由于文档让我无处可去，这样的过滤器看起来如何？我也尝试在这个和这个中使用答案，但没有任何运气。

我正在尝试发送过去 24 小时的 apache 访问日志，但运气不佳。有人可以指出我在这里缺少什么吗？它适用于 IIS。

有以下logstash conf文件：

日志通过 logstash 转发器进入，但 CISCOTIMESTAMP 不匹配。示例日志文件：

6 月 11 日 11:32:38 192.168.2.49 用户 tty1 10.1.250.5 stop task_id=176 timezone=EDT service=shell start_time=1434036772 priv-lvl=15 cmd=show running-config

我按照本教程进行操作，设置工作得很好。然后我从这个官方文档安装了 ES 的 watcher 插件，以获取错误警报和电子邮件，但我无法使用以下命令验证安装，如链接所示。

curl -XGET ' http://localhost:9200/_watcher/stats?pretty '

然后我再次检查了我的 kibana 仪表板，nginx 向我显示了 502 - bad gateway 错误。我再次检查了配置文件，但在 nginx 方面一切都很好（我对 nginx 不太熟悉，所以这部分是假设）。所有五项服务（Logstash、Kibana、ES、logstash-server 上的 nginx 和客户端上的 logstash-forwarder 都已启动并运行）。

进一步调查，我发现使用以下命令：

tail -f /var/log/logstash-forwarder/logstash-forwarder.err

有如下错误：

无法通过 XXXX 读取 tcp XXXX:5000 进行 tls 握手：i/o 超时

连接到 [XXXX]:5000 (example.com)

我尝试了什么：

我尝试从 LF 机器远程登录到 LS 服务器机器，我可以做到。我在 LF GitHub 存储库上检查了这个问题，似乎插件安装存在一些问题，结论是在 logstash 服务器端的 server.rb 文件中进行以下更改：

所以这是我的问题：

1. 问题是否真的是由于插件安装而发生的（GitHub问题上的一个意见是这样说的）？
2. 我找不到 server.rb 文件。它的具体位置在哪里？
3. 问题与教程中的 nginx 设置有关吗？
4. 有没有更好的 ES 警报插件/包？

感谢您对其中任何一个的帮助。

更新：卸载 watcher 插件可以让一切顺利运行。

所以我想问题确实出在插件上（我还没有想出解决方法。）而不是 nginx 或 ssl。

我已经在我的所有应用程序服务器（windows）上安装了logstash，并使用contrib插件（WMI）我能够读取windows性能计数器数据、我的应用程序日志文件并将数据输出到中央elasticseach服务器。

现在根据一些研究，我发现最好的方法是在应用程序服务器上只安装 logstash 转发器，然后将数据输出到中央 logstash shipper => Redis => logstash indexer，然后最后输出到 elasticsearch。

为了实现这个设计，我需要找到一种从 logstash 转发器读取性能计数器数据的方法。网上的所有资源都只讨论了logstash转发器如何跟踪文件并将信息发送给logstash托运人，但没有一个是关于读取性能计数器或在logstash转发器中使用WMI的任务。有人可以用这种方法帮助我吗？

谢谢

有没有一种方法可以让我每 2 小时或更长时间使用 logstash-forwarder 发送数据，而无需在每次我想发送数据时使用 cronjob 脚本来启动和停止转发器？