问题标签 [filebeat]

我有一些奇怪的问题filebeat

我正在使用云形成来运行我的堆栈，我正在安装和运行其中的一部分以filebeat进行日志聚合，

我将其/etc/filebeat/filebeat.yml注入机器，然后我需要重新启动filebeat。

问题是filebeat挂起。并且整个配置被卡住了（请注意，如果我 ssh 进入机器并发出“sudo service filebeat restart我自己，整个配置将变得不卡住并继续）。我尝试通过cloudformation::init的services部分和部分重新启动它，它们都commands悬挂。

我还没有尝试过，userdata但那是最糟糕的解决方案。

任何想法为什么？

模板的片段。如前所述，这两个都挂起。

我Filebeat正在正确地拖尾文件（如我所愿，这就是我从Logstash转发器切换到的原因Filebeat）。

但是，每当在日志文件中引入任何更新时，这些更新都不会由 my动态地单独发送Filebeat给.Logstash

它要求我通过在终端中Filebeat再次键入“sudo service restart”来重新启动服务。Filebeat

所以我有以下问题-

• 1. 发生这种情况的任何原因？
• 2. 使用什么样的服务Filebeat- TCP 或 UDP ？
• 3. 我怎样才能监控有多少事件被发送Filebeat到Logstash非常像logstash转发器？

我想知道您是否可以通过以下方式配置logstash：

背景资料：

• 每天我都会收到一个 xml 文件推送到我的服务器，应该对其进行解析。

• 为了指示之后的完整文件传输，我将一个空的 .ctl（自定义文件）传输到同一文件夹。

• 这两个文件都具有以下名称架构'feedback_{year}{yearday}_UTC{hoursminutesseconds}_51.{extention}'（例如feedback_16002_UTC235953_51.xml）。因此它们具有相同的文件名，但一个是 .xml，另一个是 .ctl 文件。

问题：

有没有办法配置logstash等待解析xml文件，直到相应的.ctl文件出现？

编辑：有没有办法用filebeat来存档？

EDIT2：如果更容易的话，能够以一种在开始处理新文件之前等待 x 分钟的方式配置 logstash 也足够了。

感谢您提前提供任何帮助

我有一个在一台 vm 机器上使用 elasticsearch、kibana、logstash 和在从属机器上使用 filebeat 的设置。我设法按照此处的教程从auth.log 文件发送系统日志消息和日志。在 filebeat 日志中，我看到消息已发布，但是当我尝试发送 json 文件时，我没有看到任何发布事件（由于超时，我只看到了 Flushing spooler。事件已刷新：0）。我的 filebeat.yml 文件是

首先我为我的英语道歉。

我是一家公司的实习生，我用 Filebeat 提出了一个解决方案 ELK 来发送日志。

问题是一旦恢复 syslog_pri 总是显示 Notice 和 severity_code 5

这是我的配置：

Logstash 输入：

我的过滤器：

我收到这样的日志：

我发布这个是因为我真的缺乏我浏览文档的想法，但我什么也没找到。

这个链接：

[ https://serverfault.com/questions/735230/why-cant-the-logstash-syslog-pri-filter-see-the-priority-in-syslog-messages] 这个人有同样的问题，他成功了。

因此，如果有人有想法，请分享。

谢谢

我正在使用 prima/filebeat 映像在 docker 容器上运行 Filebeat（以前称为“logstash-forwarder”）。

日志文件位于加载到容器的卷中，我希望能够删除容器并重新运行它，而无需将日志重新发送到 logstash。

我尝试将 /.filebeat 注册表文件作为卷加载，以便在启动时重新加载，但我得到的只是这些错误：

有没有人碰巧知道如何做这样的事情？

当我尝试连接到我logstash的 from时遇到问题Filebeat

这里的错误

INFO 连接错误发布事件（重试）：拨号 tcp 192.168.50.5:14560：getsockopt：连接被拒绝

这是我的logstash配置

这是我的filebeat配置

我安装了 filebeat logstash 插件，因为我已经阅读了它

我已经完全没有想法了，我很想使用这个框架，但它似乎根本没有响应。任何想法都会很棒。

我已经在客户端配置了带有 filebeat 的 ELK 服务器。配置似乎没问题，但是当我使用 kibana 搜索我的日志时，每个 syslog 条目都在 2000 年被引用，如下所示：

当我查看我的 /var/log/syslog 文件时，我有这样的一行：

开始时没有年份。

我的问题是，如何添加年份或更改时间戳？我使用 Debian 8.2 谢谢

我正在使用Filebeat通过 Logstash 管道将一些日志条目发送到弹性搜索服务器。问题是每当我向日志文件添加新行时，它都会发送文件的所有日志事件。我尝试在 filebeat 配置文件中将 input_type 设置为 stdin。但在这种情况下，如果我在日志文件中添加新行，则不会传输任何内容。

有没有办法只发送新的日志条目而不是日志文件的全部内容？

我们已经成功地将 ELK 堆栈设置到我们的生产环境中。我们还可以在我们的 Kibana 服务器上看到日志（日志是非结构化的）输出。

一切对我们来说都很好。但我们唯一关心的是 kibana 中的消息是针对写入给定日志文件的每一行而构建的。

问题：

那么，有没有办法通过最大行数（在将它们发送到 logstash 或弹性搜索之前的文件节拍中）合并（行合并）日志消息，这将被视为 ElasticSearch / Kibana / Logstash 中的 1 个事件。

注意：请注意日志消息是非结构化的（其中没有特定的正则表达式模式）。所以不能用这个。但是我确实尝试了max-lines方法，但是 kibana 中的事件显示了单行的文档。

例子。

如果我的日志（日志文件）有这样的条目

我希望 File beat 将它们分组（更好的词合并它们）

（示例：filebeat 中的配置将合并它们。）

所以最终发送到logstash/elastic的事件应该是这样的

1 个事件（消息为 ..）

2 个事件（消息为 .. ）

等等 ...

但不幸的是，它只是为每一行创建一个事件。请参阅随附的屏幕截图。

这里我的 Filebeat 配置看起来像这样（再次不能使用正则表达式，因为日志通常是非结构化的，上面给定的日志只是示例。）

想法 ？

注：文件节拍版本 1.1.0