我们有一个使用内部管理的 Kafka 在生产中运行的 spark 结构化流应用程序(让我们称之为kafka-inhouse
)
我们决定迁移到aiven kafka cloud
.
假设:
我们消费来自 的所有消息
kafka-inhouse
,然后将新消息发布到aiven kafka cloud
我们存储 Kafka 消息(使用 spark 流应用程序)的 S3 中的
path
和checkpoint
没有改变。
问题:
Spark 结构化流是否会无缝管理 Kafka 代理中的变化,尤其是在checkpointing
我们迁移之后?