logging - Fluentd 到 Logstash 输出插件

Question

我正在尝试使用 flunetd 从 scribe 服务器读取并输出这些日志以暂时存储在 logstash 中。我知道将 scribe_central 日志记录到另一个中央记录器是非常愚蠢的，但我们需要在当前架构中完成此操作。

有谁知道是否有任何插件可以做到这一点？我搜索了谷歌，但找不到任何东西。

score 5 · Accepted Answer

对于 Scribe <-> Fluentd，有fluent-plugin-scribe：

对于 Fluentd <-> Logstash，有几个选项：

中间使用 Redis，Logstash 这边使用fluent-plugin-redis和 input_redis。所以它会是 Fluentd -> Redis -> Logstash。无论如何，这就是 Logstash 对 log shippers + Logstash 的推荐。
或者，您可以将 Fluentd 的 out_forward 插件与 Logstash 的 TCP 输入一起使用。Logstash 具有 Fluentd 编解码器来处理来自 Fluentd 的输入。

score 3 · Accepted Answer

您可以将其直接转发到您的 logstash tcp 输入 :)

我编写了一个fluentd 输出插件，用于通过安全的tcp 连接将 fluentd 事件转发到通用接收器（也可以配置为非安全）。

要将插件添加到您的 fluentd 代理，请使用以下命令：

gem install fluent-plugin-loomsystems

另请参阅完整的原始答案，祝你好运。

score 0 · Accepted Answer

我在配置片段下方使用来自 fluentd 的 http 输出和用于 logstash 的 http 输入来使用它：

流利的：

<match **>
    @type http
    endpoint_url http://logstash-box:8080/
    http_method put
    serializer json
    raise_on_error false
</match>

日志存储：

input {
    http {
        port => 8080 
    }
}

Obs：您可能必须安装插件gem install fluent-plugin-out-http

3 回答 3