apache-kafka - Kafka Connect：运行连接器和消费者后未更新 test.sink.txt

Question

我尝试使用以下步骤将数据输入到 Kafka 连接测试主题中。我能够使用主题一次，并且在第二次尝试使用新文件时，我无法使用数据。输出文件test.sink.txt未更新

1. echo -e "foo\nbar" > test.txt

2. bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

3. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning

   -rw-rw-r-- 1 kafka kafka     8 Jan 27 20:41 test.txt
   -rw-rw-r-- 1 kafka kafka     0 Jan 27 20:42 test.sink.txt
   

Answer 1

类似的问题在这里得到解答：Kafka connect tutorial stop working

Kafka 文件源连接保留文件的最后读取位置。当您在未将偏移量重置为 0 的情况下删除文件时，连接器会等待新数据从头开始显示特定字符​​数。

如果您使用独立模式删除 /tmp/connect.offsets 将解决问题。