1

ELK Stack ver 7.3.2 Linux RedHat 6.9 (Santiago) Kafka Client 2.1
与Logstash一起使用 kafka-input-plugin。
Kibana 已启动并运行。
弹性搜索配置为与 Kibana 一起运行。
Kibana 与 Elastic search 运行在同一台虚拟机上。
心跳正在运行。
Filebeat 正在运行。
Logstash 输入是一个 Kafka 主题，配置为输出到 Elastic。

我看不到应该由 Elastic 生成并放在 Kibana 上的索引。

这是 Logstash 的简单配置

input {
  kafka {
    bootstrap_servers => "nydvalkafvm01.tradeware.com:9092"
    topics => ["cat.dev1.service.NJPW7DT004.SM1"]
  }
}

output {
  elasticsearch {
    hosts => ["http://nyuatalcasvm01:9200"]
    index => "test_boris"
    workers => 1
    #user => "elastic"
    #password => "changeme"
  }
}

这是控制台输出

[2019-09-20T22:02:00,444][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Revoking previously assigned partitions []
[2019-09-20T22:02:00,445][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] (Re-)joining group
[2019-09-20T22:02:00,506][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2019-09-20T22:02:00,521][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Successfully joined group with generation 13
[2019-09-20T22:02:00,522][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Setting newly assigned partitions [cat.dev1.service.NJPW7DT004.SM1-0, cat.dev1.service.NJPW7DT004.SM1-1]

在此处输入图像描述

我希望在 Kibana 管理中看到索引“test_boris”我在配置中缺少什么吗？

4

1 回答 1

2

在 logstash 处理最终在索引中的事件之前，不会创建索引。因此，根本问题很可能是卡夫卡主题没有任何内容。

于 2019-09-21T01:12:00.180 回答