2

我正在使用 Logstash 从文件中读取和解析日志，并将它们发送到基于 Rest 的 API。我的托运人工作正常，但我遇到了一种奇怪的行为。

Version:
logstash-2.3.2

问题：

当 Logstash shipper 解析第一个日志条目时，它不会发送它，而是将它保存在管道中。当它解析第二个日志条目时，它会将第一个日志条目发送到 API。因此，一条消息始终保留在管道中，并且不会发送到我的 API。

每当我停止我的 Logstash 托运人进程时，它也会发送最后一条剩余的消息。所以，从某种意义上说，没有信息丢失，但托运人总是落后一条信息。

问题： 为什么 Logstash 无法在收到消息后立即刷新其管道并将消息发送到 API。

4

1 回答 1

2

您应该粘贴您的 logstash 配置和日志格式以获得正确的答案，但是从您所描述的任何内容来看，您似乎正在使用多行插件。因此，从 logstash 2.2 开始，Codec 中有一个用于多线插件的 auto_flush_interval。基本上这个'auto_flush_interval'可以设置为秒数，如果多行输入插件在指定的秒数之前不监听任何日志行，那么它将刷新管道中待处理的输入到您的API......

例如和更多信息，请通过这个：

input {
  file {
    path => "$LogstashFilePathValue"
    type => "DemandwareError"
    tags => "$EnvironmentName"
    start_position => "beginning"
    sincedb_path => "NUL"
    codec => multiline {
        pattern => "\A\[%{TIMESTAMP_ISO8601:demandware_timestamp} GMT\]"
        negate => true
        what => previous
        auto_flush_interval => 10
    }
  }
}

该示例来自链接：https ://github.com/elastic/logstash/issues/1482 有关 auto_flush_interval 的更多信息，请访问：https ://www.elastic.co/guide/en/logstash/current/plugins-codecs -multiline.html#plugins-codecs-multiline-auto_flush_interval

于 2016-07-07T09:54:52.333 回答