https://docs.confluent.io/kafka-connect-s3-source/current/
我认为这个连接器会轮询 s3 以获取文件列表——但它是否会保留有关已处理哪些文件以及哪些是新文件的状态？如果它确实存储状态，那么状态存储在哪里？
问问题
39 次
1 回答
0
通常，源连接器将状态存储在已配置的config.offsets.topic中，虽然我没有使用过这个特定的连接器，但我想它必须依赖于单调递增的 S3 密钥，例如由相应的 S3 接收器写入的密钥，因此不应该预计不会适用于任何随机 S3 存储桶
在这篇文章中有一些关于常规文件源连接器的细节
于 2021-04-10T14:53:04.470 回答