apache-kafka - 如何将 Suricata 日志发送到 Kafka？

Question

根据文档https://suricata.readthedocs.io/安装和配置 Suricata 5.0.2 后。

我尝试通过添加以下内容来更改 suricata.yaml 中的一些配置：

- alert-json-log:
      enabled: yes
      filetype: kafka
      kafka:
        brokers: > 
         xxx-kafka-online003:9092,
         xxx-kafka-online004:9092,
         xxx-kafka-online005:9092,
         xxx-kafka-online006:9092,
         xxx-kafka-online007:9092
        topic: nsm_event
        partitions: 5
      http: yes

接下来我运行 Suricata，并收到错误 Invalid entry for alert-json-log.filetype。预期为“常规”（默认）、“unix_stream”、“pcie”或“unix_dgram”

我不知道在 Suricata 上进行配置以启用将日志发送到 Kafka 主题。请帮忙。

Answer 1

我没有看到 Kafka 被列为输出类型，因此“不，没有”

参考文档：https ://suricata.readthedocs.io/en/suricata-5.0.2/output/index.html

另外，我不确定我是否理解您的期望http: yes，因为 Kafka 不是 HTTP 服务

---

你可以做的是 set filetype: unix_stream，然后我假设它是 Syslog，你可以添加另一个服务，比如 Kafka Connect 或 Fluentd 或 Logstash 来将该数据路由到 Kafka。

换句话说，服务不需要与 Kafka 集成。存在许多读取文件或//stdout流的替代方案stderrsyslog