0

Confluent 的 Kafka Connect 的 S3 Sink 连接器可以使用 将主题写入 S3 存储桶中的嵌套（不是顶级）文件夹topics.dir吗？

例如，如果我设置topics.dir为 value thisistoplevel/thisisnested，连接器会工作吗？

配置属性的文档说：topics.dir

用于存储从 Kafka 摄取的数据的顶级目录。

但这似乎是一个奇怪的限制。也许“顶级目录”一词的意思更像是“将在其下编写主题的最顶层目录”。

也许其他人已经对此进行了测试或在生产中使用了嵌套目录？

4

1 回答 1

1

在 S3 的上下文中，没有文件夹“嵌套”之类的东西；S3 没有“文件夹”。它只是存储桶中的字符串前缀。

是的，前缀只要你需要就可以，然后写的时候主题名会附加到那个路径上

于 2022-03-04T18:41:51.887 回答