3

通过以下方式安装了 ELK 服务器：https ://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-centos-7

除了filebeat连接之外，它似乎可以工作；filebeat 似乎没有转发任何东西，或者至少我在日志中找不到任何东西来表明正在发生任何事情。

我的filebeat配置如下：

filebeat:
  prospectors:
    -
  paths:
     - /var/log/*.log
     - /var/log/messages
     - /var/log/secure
  encoding: utf-8
  input_type: log
  timeout: 30s
  idle_timeout: 30s
  registry_file: /var/lib/filebeat/registry
output:
  logstash:
    hosts: ["my_elk_fqdn:5044"]
    bulk_max_size: 1024
    compression_level: 3
    worker: 1
    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
shipper:
logging:
  to_files: true
  files:
    path: /var/log/filebeat
    name: filebeat.log
    rotateeverybytes: 10485760 # = 10MB
    keepfiles: 7
  level: debug

我不断从 filebeat 获得的日志文件输出并不是很有帮助：

2016-07-14T17:32:21-04:00 DBG  Start next scan
2016-07-14T17:32:31-04:00 DBG  Start next scan
2016-07-14T17:32:41-04:00 DBG  Start next scan
2016-07-14T17:32:46-04:00 DBG  Flushing spooler because of timeout. Events flushed: 0
2016-07-14T17:32:51-04:00 DBG  Start next scan

我的配置文件有什么问题吗？

当我在 ELK 服务器上测试以查看是否得到任何东西时：

[root@my_elk_server ~]# curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 0,
    "successful" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 0,
    "max_score" : 0.0,
    "hits" : [ ]
  }
}

哦，还有我的 filebeats 的 logstash 配置：

input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

更新：它不是文件节拍。确实传递了消息，但仍有一个我无法跟踪的问题，这让我松了一口气：

发现导致问题的不是filebeat。似乎logstash中要发送到elasticsearch的配置文件没有正确标记索引（和类型）以使其可搜索，如问题所示。它没有将 filebeat 放在索引名称中，而是给出如下结果：

"_index" : "%{[@metadata][beat]}-2016.07.14",

放入文件中的 elasticsearch 输出结果在

output {
  elasticsearch {
    hosts => "my_elk_fqdn:9200"
    sniffing => true
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

显然这个@metadata 没有被正确传递。有没有人能够正确填充 _index 和 _type 字段？？？

这可能是filebeat的错误？？ https://github.com/logstash-plugins/logstash-input-beats/issues/6

4

0 回答 0