0

我必须将对象存储中的 csv 数据（只能使用 url 访问）加载到 kafka 主题中。如何将此 csv 数据加载到 kafka 中的主题？请解释步骤。并且是否有任何时间间隔来加载？。我通过rest api尝试了spooldir连接器，但无法弄清楚如何提供url ..

假脱机目录配置：

{"connector.class":"com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceConnector",
"topic":"spooldir-testing-topic",
"input.path":"",//here how to provide url instead of path?
"finished.path": "<finished path>",
"error.path": "<>error path",
"input.file.pattern":".*\\.csv",
"schema.generation.enabled":"true",
"csv.first.row.as.header":"true",
"tasks.max":"1",
"halt.on.error":"false"}

1）如何提供url而不是路径？2）如何提供每行csv之间的时间间隔？例如：n 秒内的 n 行？

4

1 回答 1

0

Spooldir 连接器仅假定本地文件系统访问。

您将需要一个不同的连接器/解决方案，包括可能编写您自己的连接器类

于 2021-06-09T11:58:10.333 回答