elasticsearch - 如何从 logstash 增加我的文档的计数字段？

Question

我想从logstash更新我的文档/登录elasticsearch的一个字段。

我的logstash conf文件

input { 
    http {
    host => "127.0.0.1" # default: 0.0.0.0
    port => 31311 # default: 8080
  }
}

output { 
  stdout { codec => json },
  elasticsearch {
        action => "update"
        bind_host => "127.0.0.1"
        bind_port => 9200
        document_id => "ET00009682"
        index => "in12"
        type => "event"
  }
}

我想将我的计数字段增加一，如何在我的 logstash 输出中指定它。

注意：我知道要更新我需要使用这个脚本

"script" : "ctx._source.count += 1"

但我不确定将它放在logstash的输出中的什么位置？

请帮忙谢谢

Answer 1

你可以用conf做到这一点：

output { 
  stdout { codec => json },
  elasticsearch {
        action => "update"
        bind_host => "127.0.0.1"
        bind_port => 9200
        document_id => "ET00009682"
        index => "in12"
        type => "event"
        doc_as_upsert => true
        script => "ctx._source.count += 1"
        script_lang => "groovy"
        script_type => "inline"
  }
}

Answer 2

您需要在有计数器的地方使用指标过滤器：https ://www.elastic.co/guide/en/logstash/current/plugins-filters-metrics.html

filter {
  metrics {
    meter => [ "thing" ]
    add_tag => "metric"
  }
}

您将收到一个字段名称：thing.count 这将是您的计数字段

Answer 3

所以我所做的是从logstash的输出中触发一个curl请求来实现这一点。