1

我们有一个使用内部管理的 Kafka 在生产中运行的 spark 结构化流应用程序(让我们称之为kafka-inhouse

我们决定迁移到aiven kafka cloud.

假设:

  1. 我们消费来自 的所有消息kafka-inhouse,然后将新消息发布到aiven kafka cloud

  2. 我们存储 Kafka 消息(使用 spark 流应用程序)的 S3 中的pathcheckpoint没有改变。

问题:

Spark 结构化流是否会无缝管理 Kafka 代理中的变化,尤其是在checkpointing我们迁移之后?

4

0 回答 0