1

我正在阅读 Kafka 中的 1 个日志文件，并创建一个主题。这是成功的。为了阅读这个文件，我正在为此目的编辑文件config/connect-file-source.properties，并根据 Kafka Quickstart ( http://kafka.apache.org/quickstart#quickstart_kafkaconnect ) 的第 7 步。

但是，现在，我想阅读很多文件。在文件config/connect-file-source.properties中，我使用模式编辑了变量文件，例如： file=/etc/logs/archive .log* 因为我想读取目录日志的所有文件，使用模式存档*.log。但是，这条线不起作用。

使用文件config/connect-file-source.properties实现读取具有模式的文件的最佳形式是什么？

4

1 回答 1

4

在config/connect-file-source.properties,

源类是FileStreamSource，它使用任务类作为FileStreamSourceTask.

它使用 读取文件FileInputStream，因此无法一次打开多个文件。（通过传递目录名称或正则表达式模式..）

您应该实现自己的Source&SourceTask类，或者使用支持此功能的现有类，例如kafka-connect-spooldir

于 2016-10-12T00:00:48.563 回答