问题标签 [logstash-forwarder]

我想在 logstash 转发器发送文件后删除文件（否则我会收到太多文件打开错误）。是否有任何迹象表明 logstash 转发器已使用该文件完成？

我正在为我的 Logstash 转发器使用以下配置文件：

它工作正常。但是如果应用程序停止，当我重新启动它时，它会再次将旧日志发送到我的 logstash-server。这是一个大问题，有什么办法可以避免它重新发送旧日志？

我无法在我的 logstash-forwarder.conf 中将日志从 logstash-forwarder 推送到 logstash

在运行以下命令时

我收到以下异常...

我有 2 台服务器：

• 日志存储服务器
• 应用服务器

如果我在 logstash 服务器上运行 logstash-forwarder - 没关系。

但是，如果我在应用服务器上运行 logstash-forwarder，我会收到一个错误：

当我通过命令检查证书时：

我拿了一个有效的证书：

应用服务日期：

怎么了？

目前我的日志和logstash在同一台机器上运行，所以我用这个配置（使用拉模型）读取了放在本地机器上的日志

现在，我们在另一台机器上运行 logstash，并希望读取远程机器的日志。

有没有办法在配置文件的文件输入中设置ip？

编辑： 我设法使用作为推送模型的logstash-forwarder来做到这一点（日志托运人/logstash-forwarder会将日志发送到logstash索引服务器）但我仍然在寻找一个没有托运人的拉动模型，logstash索引服务器将去和直接联系远程主机。

尝试在中央服务器上配置 logstash 转发器时，出现以下错误logstash.log：

有人可以帮忙解决这个问题吗？

这是配置文件/etc/logstash/conf.d/central.conf：：

最近我试图找出使用 ELK 堆栈的最佳 Docker 日志记录机制。我对公司在生产中使用的最佳工作流程有一些疑问。我们的系统有典型的软件栈，包括Tomcat、PostgreSQL、MongoDB、Nginx、RabbitMQ、Couchbase等。目前，我们的栈运行在CoreOS集群中。请在下面找到我的问题

1. 使用 ELK 堆栈，进行日志转发的最佳方法是什么 - 我应该使用 Lumberjack 吗？我问这个是因为我看到人们使用 Syslog/Rsyslog 将日志转发到 logstash 的工作流程。
2. 由于我们所有的软件都是容器化的，我应该在我的所有容器中包含 Log-forwarder 吗？我计划这样做，因为我的大多数容器会根据运行状况切换节点，因此我不热衷于将文件系统从容器安装到主机。
3. 我应该使用 redis 作为代理来转发日志吗？如果是，为什么？
4. 编写定义要转发到 log-stash 的日志格式的 log-config 文件有多难？

这是一个主观问题，但我确信这是人们早就解决的问题，我不热衷于重新发明轮子。

我正在使用 logstash 和 logstash 转发器设置 ELK 堆栈。我目前正在尝试将此 grok 模式用于后缀日志记录； https://github.com/whyscream/postfix-grok-patterns

在 logstash 中，我包含了存储库中提到的 2 个文件。

这就是我的转发器中的内容；

这是我回来的结果；

我相信我错过了一个重要的部分。我认为我需要预先做一些事情，因为在存储库和 grok 中提到了“syslogs”，正在对程序执行检查。

我错过了哪一步？我正在使用logstash 1.5.x

谢谢你的帮助！

我正在使用 Logstash 转发器输入日志并使用多行过滤器将日志构建为消息（每个日志至少有 2 行）。问题是有时消息会混淆。

具有 3 个日志的文件的示例是

标题 1 正文 1

标题 2 正文 2

标题 3 正文 3

但日志可能会在稍后显示为

标题 1 正文 2 正文 1

页眉2

标题 3 正文 3

我使用的是 stream_identity => "%{host}.%{path}.%{type}.%{file}"，但由于这两个日志是同一个文件的一部分，所以这没有被违反。

这似乎是基于网络流量的问题，因为有时它可以完美地解析所有日志，有时它会扰乱几乎所有日志。

有什么方法可以保证日志将以正确的顺序构建？

我正在学习如何使用 logstash 和 logstash-forwarder。问题是logstash 不允许使用SSL 进行通信。我使用的是 IP 方法而不是 DNS。Kibana、Elastic Search 和 Logstash 安装在 docker 容器内。我已经在容器中生成了一个证书。在那里，我有/etc/pki/tls/{certs,private}目录，分别保存 .crt 和 .key 文件。我已将它们复制到 docker 主机。如果我运行，openssl x509 -noout -text -in logstash-forwarder.crt我可以看到我拥有的证书内部：

这是将为 kibana 服务的 docker 容器的 IP。在我用作测试主题以发送日志的 docker 容器内（它正在运行 php 应用程序和 nginx），我有 logstash.json 配置文件，该文件具有：

在该位置/srv/logstash/logstash-forwarder.crt，我可以看到它是相同的键，并且还有以下行：

在里面。即 SANS 是 172.17.0.47 当我运行时./logstash-forwarder --config /srv/logstash/logstash.json我得到

2015/07/24 07:57:16.835391 从文件设置受信任的 CA：/srv/logstash/logstash-forwarder.crt 2015/07/24 07:57:16.835949 连接到 [172.17.0.47]:5000 (172.17.0.47) 2015/07/24 07:57:16.852710 无法与 172.17.0.47 x509 握手：无法验证 172.17.0.47 的证书，因为它不包含任何 IP SAN 2015/07/24 07:57:17.856153 连接到 [172.17 .0.47]:5000 (172.17.0.47) 2015/07/24 07:57:17.874499 无法与 172.17.0.47 x509 握手：无法验证 172.17.0.47 的证书，因为它不包含任何 IP SAN

我很困惑，因为我自己可以在那里看到它。那么我做错了什么？谢谢