1

我正在使用 tail 和 fluent-plugin-mongo将 Apache 组合日志格式写入 mongoDB，但我想自定义一些属性格式以写入 mongoDB，例如

  • 拆分路径到新属性

{

ip : 21.18.104.8
host : www.sample.com
message : buildtime=2012_02_14_16_25;version=01.03.3752;totalTimeMin=0;

}

至

{

ip : 21.18.104.8
host : www.sample.com 
message : buildtime=2012_02_14_16_25;version=01.03.3752;totalTimeMin=0;
buildtime : 2012_02_14_16_25
version : 01.03.3752
totalTimeNin : 0

}

  • 将日期时间格式从 ISODate("2011-11-27T07:56:34Z" 更改为 "2011-11-27 07:56:34"

  • 上限时间戳到最近的 5 分钟，例如。12:33:22 => 12:35:00

  • 添加一些功能，例如 from

{

ip : 69.249.69.211
host : www.sample.com
message : buildtime=2012_02_14_16_25;version=01.03.3752;totalTimeMin=0;

}

至

{

ip :  69.249.69.211
country : US
host : www.sample.com
message : buildtime=2012_02_14_16_25;version=01.03.3752;totalTimeMin=0;

}

那有可能吗？我不知道应该使用哪些插件。我已经阅读了文档，但我没有得到它，因为它没有很多示例。

4

1 回答 1

1

您可以扩展 in_tail 插件以实现您的目标。下面的 URL 描述了如何执行此操作。

http://docs.fluentd.org/articles/plugin-development#custom-parser-for-tail-input-plugin

如果您有任何问题，请在此处或 Google 网上论坛问我。谢谢-K

于 2012-11-17T03:43:39.597 回答