4

我有以下设置：我有一个将 JSON 消息发送到 RabbitMQ 的 Java 工具。它们看起来像这样：

{
"a": 0,
"b": 1,
"c": 2
}

现在我使用 Logstash 读取 RabbitMQ 队列并将它们存储到 Elasticsearch 中，这样我就可以使用 Kibana 分析数据。存储在 Elasticsearch 中的 JSON 如下所示：

{
"a": 0,
"b": 1,
"c": 2,
"@version": "1",
"@timestamp": "2014-01-22T19:05:19.136Z"
}

我认为@timestamp 字段对我正在做的事情没有任何用处。当我使用 cURL 在 Elasticsearch 中存储相同的 JSON 时，只有 @version 字段存在，@timestamp 字段不存在。有什么方法可以配置 Logstash 不保存@timestamp？

4

2 回答 2

2

当 Logstash 读取消息时，Logstash 将消息视为Event。事件将具有时间戳和消息日志。因此，@timestamp 字段是必需的。

因此，如果要删除@timestamp 字段，则会导致错误。Logstash 无法将事件输出到 elasticsearch。

Exception in thread "LogStash::Runner" org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `tv_sec' for nil:NilClass
    at RUBY.sprintf(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/event.rb:239)
    at org.jruby.RubyString.gsub(org/jruby/RubyString.java:3062)
    at RUBY.sprintf(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/event.rb:225)
    at RUBY.receive(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/outputs/elasticsearch.rb:153)

到目前为止，并非所有@-prefix 字段都会导致错误，只有删除@timestamp 才会导致此错误。

于 2014-01-23T01:55:42.370 回答
1

@Logstash 内部使用任何带前缀的字段。删除它们往往会导致错误。

例如，我使用 Logstash 1.3.3 尝试了以下配置文件：

input { 
    generator {
        type => "timestrip"
        message => "This is a test message."
        count => 1
    }
}

filter {
    mutate {
        remove_field => ["@timestamp"]
    }
}

output {
    elasticsearch_http {
        host => "127.0.0.1"
        flush_size => 1
    }
}

ES 输出报告“无法刷新传出项目”，但有以下异常：

NoMethodError: undefined method `tv_sec' for nil:NilClass
于 2014-01-22T20:46:30.147 回答