1

我真的很喜欢 ELK 解析日志。但是，我被困在需要解析字典列表的地方。以下是我的日志：-

IP - - 0.000 0.000 [24/May/2015:06:51:13 +0000] *"POST /c.gif HTTP/1.1"* 200 4 * user_id=UserID&package_name=SomePackageName&model=Titanium+S202&country_code=in&android_id=AndroidID&eT=1432450271859&eTz=GMT%2B05%3A30&events=%5B%7B%22eV%22%3A%22com.olx.southasia%22%2C%22eC%22%3A%22appUpdate%22%2C%22eA%22%3A%22app_activated%22%2C%22eTz%22%3A%22GMT%2B05%3A30%22%2C%22eT%22%3A%221432386324909%22%2C%22eL%22%3A%22packageName%22%7D%5D * "-" "-" "-"

上述日志的 URL 解码版本为

IP - - 0.000 0.000 [24/May/2015:06:51:13  0000] *"POST /c.gif HTTP/1.1"* 200 4 * user_id=UserID&package_name=SomePackageName&model=Titanium S202&country_code=in&android_id=AndroidID&eT=1432450271859&eTz=GMT+05:30&events=[{"eV":"com.olx.southasia","eC":"appUpdate","eA":"app_activated","eTz":"GMT+05:30","eT":"1432386324909","eL":"packageName"}] * "-" "-" "-"

无论我在哪里尝试解析它，它都会向我显示_jsonparsefailure. 我也经历过这个问题，也经历过各种论坛，但没有找到完美的解决方案。如何解析logstash中的json列表？如果到目前为止不存在，那么有什么办法可以解决相同的问题。？？

以下是我的配置文件。

filter {
    mutate {
        gsub => [
            "message", "\+", "%20"
        ]
    }

    urldecode{
        field => "message"
    }
    grok {
        match => [
            'message', '%{IP:clientip}%{GREEDYDATA} \[%{GREEDYDATA:timestamp}\] \*"%{WORD:method}%{GREEDYDATA}'
        ]
    }

    kv {
        field_split => "&?"
    }

    json{
        source => "events"
    }

    geoip {
        source => "clientip"
    }
}
4

1 回答 1

2

这个问题是Logstash 列表中 Parse json的精确副本。即使有相同的日志条目？！有人能理解吗？

你可以在那里看到我的答案，但我会为你总结一下......选项e）可能是最好的方法

显然你得到一个jsonparsefailure因为方括号。作为一种解决方法，您可以手动删除它们。在您的 kv 和 json 过滤器之前添加以下 mutate 过滤器：

mutate  {
    gsub => [ "events","\]",""]
    gsub => [ "events","\[",""]
}

但是，这不适用于像[{"foo":"bar"},{"foo":"bar1"}]. 所以这里有4个选项：

选项 a) 丑陋的 gsub

一个丑陋的解决方法是另一个 gsub：

gsub => [ "event","\},\{",","]

但这会消除内部关系，所以我想您不想这样做。

选项 b) 拆分

更好的方法可能是使用拆分过滤器：

split {
    field => "event"
    terminator => ","
}
mutate  {
    gsub => [ "event","\]",""]
    gsub => [ "event","\[",""]
   }
json{
    source=> "event"
}

这将产生多个事件。（第一个foo = bar和第二个foo1 = bar1。）

选项 c) 变异分裂

您可能希望在一个 logstash 事件中包含所有值。如果条目存在，您可以使用 mutate => split 过滤器生成一个数组并解析 json。不幸的是，您必须为每个条目设置一个条件，因为 logstash 不支持其配置中的循环。

mutate  {
    gsub => [ "event","\]",""]
    gsub => [ "event","\[",""]
    split => [ "event", "," ]
   }

json{
    source=> "event[0]"
    target => "result[0]"
}

if 'event[1]' {
    json{
        source=> "event[1]"
        target => "result[1]"
    }
    if 'event[2]' {
        json{
            source=> "event[2]"
            target => "result[2]"
        }
    }
    # You would have to specify more conditionals if you expect even more dictionaries
}

选项 d) Ruby1

以下作品（在您的 kv 过滤器之后）：宁可使用选项 e）

mutate  {
    gsub => [ "event","\]",""]
    gsub => [ "event","\[",""]
}

ruby  {
    init => "require 'json'"
    code => "
        e = event['event'].split(',')
        ary = Array.new
        e.each do |x|
            hash = JSON.parse(x)
            hash.each do |key, value|
                ary.push( { key =>  value } )
            end
        end
        event['result'] = ary
    "
}

更新

选项 e) Ruby2

经过一些测试，这可能是最好的方法。在你的 kv 过滤器之后使用它：

ruby  {
    init => "require 'json'"
    code => "event['result'] = JSON.parse(event['event'])"
}
于 2015-08-04T11:57:15.253 回答