2

我正在使用 ELK 和 Logstash-forwarder。我正在尝试使用一个 logstash 实例将数据发送到多个 elasticsearch clusters。我的伐木工人输出配置看起来像

output {
  elasticsearch {
    host => "localhost"
    cluster => "my-es-cluster"
  }
  elasticsearch {
    cluster => "my-another-cluster"
  }
  stdout { codec => rubydebug }
}

当我这样写第二个elasticsearch块时，它会淹没我的logstash日志

{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack 输入：管道被阻塞，暂时拒绝新连接。", :level=>:warn}

如本 Logstash 讨论线程中所述。我发现只有这个旧的谷歌小组讨论有一个类似的案例，但评论中只有一个提到它应该有效。我检查了输出插件的文档，但据我所知，没有提到在一个输出插件 conf 文件中使用相同的输出块。

我错过了一些明显的东西吗？

4

1 回答 1

0 
{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack input: the pipeline is blocked, temporary refusing new connection.", :level=>:warn}

我敢肯定，此警告与输出中的第二个集群无关。我的 Logstash 日志中有相同的警告，但我只发送到一个集群。我认为这个错误意味着你的队列中有太多消息，Logstash 会等待一段时间。现在我忽略了这个警告，我的集群运行良好。我的集群每 24 小时获得超过 120 GB 的信息。

于 2015-08-27T10:32:24.407 回答