apache-kafka - Kafka Connect HDFS 接收器问题

Question

我正在尝试使用带有 HDFS 接收器连接器的 Kafka-Connect 流式传输数据。Standalone 和 Distributed 模式都运行良好，但它只写入 HDFS 一次（基于刷新大小）并且以后不会流式传输。如果我遗漏了一些东西，请帮忙。

汇合 2.0.0 和卡夫卡 0.9.0

Answer 1

我很久以前就遇到过这个问题。只需检查以下参数是否丢失

连接-hdfs-sink 属性

"logs.dir":"/hdfs_directory/data/log"

“request.timeout.ms”：“310000”

“offset.flush.interval.ms”：“5000”

“heartbeat.interval.ms”：“60000”

“session.timeout.ms”：“300000

“最大投票记录”：“100”