1

我正在根据我们通过简单的图像信标收集的仪器数据为我们的网络资产提供分析。我们的数据管道从 Flume 开始,我需要尽可能快的方法来解析查询字符串参数,形成一个简单的文本消息并将其推入 Flume。

出于性能原因,我倾向于使用 nginx。由于已经支持从内存中提供静态图像,因此我的任务被简化为处理查询字符串并将消息转发到 Flume。因此,问题:

将 nginx 与 Flume 集成的最简单可靠的方法是什么?我正在考虑使用 syslog(Flume 支持 syslog 侦听器),但我很难配置 nginx 以将自定义日志消息转发到在远程服务器和自定义端口上运行的 syslog(或只是 TCP)侦听器。是否可以使用 nginx 的现有 3rd 方模块,还是我必须自己编写?

另外,您可以推荐用于编写快速 $args 解析器的任何现有内容将不胜感激。

如果您认为我走的是一条完全错误的道路,并且可以推荐性能更好的东西,请随时告诉我。

提前致谢!

4

1 回答 1

3

您应该像 do 一样解析 nginx 日志文件tail -f,然后将结果传递给 Flume。这将是最简单可靠的方法。syslog 的问题在于它会阻塞 nginx,并且可能完全卡在高负载下或者如果出现问题(这就是 nginx 不支持它的原因)。

于 2012-11-17T13:59:34.920 回答