elasticsearch - 在 Kibana 中解析整数并在时间轴中显示

Question

这是 Kibana UI，我想解析消息中的一些 Integer。消息末尾的数字是一种方法的处理时间，我在 Kibana 中按小时可视化平均处理时间。那可能吗？

我在logstash中尝试了一些conf：

filter{
    json{
        source => "message"
    }
    grok {
        match => {
            "message" => "^Finish validate %{NUMBER:cto_validate_time}$"
        }
    }
    grok {
        match => {
            "message" => "^Finish customize %{NUMBER:cto_customize_time}$"
        }
    }

}

有用。但是当我创建时间表时，我无法获得新字段。

Answer 1

由于您不关心性能问题，您可以使用以下无痛代码创建以索引模式命名的脚本字段。它所做的只是从您的字段中process_time获取最后一个数值。message

def m = /.*\s(\d+)$/.matcher(doc['message.keyword'].value);
if ( m.matches() ) {
   return m.group(1)
} else {
   return 0
}

然后您可以构建一个图表以按小时显示平均处理时间。转到可视化选项卡并创建一个新的垂直条形图。在 Y 轴上，您将在字段上创建平均聚合，process_time在 X 轴上，您将在时间戳字段上使用日期直方图聚合。示例如下所示：

注意：您还需要在elasticsearch.yml文件中添加以下行并重新启动 ES：

script.painless.regex.enabled: true

更新

如果您想通过 Logstash 执行此操作，可以添加以下grok过滤器

filter{
    grok {
        match => {
            "message" => "^Finish customize in controller %{NUMBER:cto_customize_time}$"
        }
    }
    mutate {
        convert => { "cto_customize_time" => "integer" }
    }
}