1

我对 logstash 很陌生，我一直在尝试使用 logstash-output-csv 插件将现有日志转换为 csv 格式。

我的输入日志字符串如下所示，这是在我们的应用程序中编写的自定义日志。

'128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)'

我写了一个快速的正则表达式并使用 grok 插件将它添加到 patterns_dir 中。我的模式如下：

IP_ADDRESS [0-9,.]+
CPU [0-9]
NSFW \S+
NUMBER [0-9]
DATE [0-9,/]+\s+[0-9]+[:]+[0-9]+[:]+[0-9,.]+
TIME \S+
COMPONENT_ID \S+
LOG_MESSAGE .+

在不添加任何 csv 过滤器的情况下，我能够获得此输出。

{
       "message" => "128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)",
      "@version" => "1",
    "@timestamp" => "2015-08-18T21:06:56.05Z",
          "host" => "hostname",
          "path" => "/usr/phd/raveesh/sample.log_20150819000609",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

这是我的配置，以便将 csv 作为输出

input {
    file {
        path => "/usr/phd/raveesh/temporary.log_20150819000609"
        start_position => beginning
    }
}

filter {
    grok {
        patterns_dir => "./patterns"
        match =>["message", "%{IP_ADDRESS:ipaddress}/%{CPU:cpu}/%{NSFW:nsfw}<%{NUMBER:number}>%{DATE}:%{SPACE:space}%{COMPONENT_ID:componentId}%{SPACE:space}%{LOG_MESSAGE:logmessage}" ]
        break_on_match => false
    }
    csv {
        add_field =>{"ipaddress" => "%{ipaddress}" }
}
}

output {
  # Print each event to stdout.
  csv {
    fields => ["ipaddress"]
    path => "./logs/firmwareEvents.log"
}
  stdout {
    # Enabling 'rubydebug' codec on the stdout output will make logstash
    # pretty-print the entire event as something similar to a JSON representation.
    codec => rubydebug
  }
}

上面的配置似乎没有给出输出。我只想在 csv 文件中打印 ipaddress，但最后我需要在 csv 文件中打印所有捕获的模式。所以我需要如下输出：

128.111.111.111,cpu0,nsfw, ....

你能否让我知道我需要做的改变。?

提前致谢

编辑：

我按照建议使用工具http://grokconstructor.appspot.com/do/match#result修复了正则表达式

现在我的正则表达式过滤器如下所示：

%{IP:client}\/%{WORD:cpu}\/%{NOTSPACE:nsfw}<%{NUMBER:number}>%{YEAR:year}\/%{MONTHNUM:month}\/%{MONTHDAY:day}%{SPACE:space}%{TIME:time}:%{SPACE:space2}%{NOTSPACE:comp}%{SPACE:space3}%{GREEDYDATA:messagetext}

如何捕获单个拆分并将其保存为 csv ？

谢谢

编辑：

我终于使用 File plugin 解决了这个问题。输出 {

文件{路径 => "./logs/sample.log" message_pattern =>"%{client},%{number}" } }

4

1 回答 1

2

过滤器部分中的 csv 标签用于解析输入并将消息分解为键/值对。

在您的情况下，您已经在使用 grok 解析输入，所以我敢打赌您不需要 csv 过滤器。

但是在输出中我们可以看到有一个 gorkfailure

{
       "message" => "128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)",
      "@version" => "1",
    "@timestamp" => "2015-08-18T21:06:56.05Z",
          "host" => "hostname",
          "path" => "/usr/phd/raveesh/sample.log_20150819000609",
          "tags" => [
        [0] "****_grokparsefailure****"
    ]
}

这意味着您的 grok 表达式无法解析输入。

您应该根据输入修复表达式，然后 csv 将正确输出。

结帐http://grokconstructor.appspot.com/do/match寻求帮助

顺便说一句，您确定 NSFW、CPU、COMPONENT_ID 等模式是在某处定义的吗？

HIH

于 2015-09-01T12:36:57.763 回答