我有一个在 Spark 上运行的 Apache Beam 管道。管道从 Kafka 主题 (KafkaIO) 读取并写入文件 (FileIO)。我经常需要停止管道并更新一些外部参数。这会导致一些数据丢失。有没有办法优雅地关闭管道？各种排水，以避免数据丢失。
我在 github ( https://github.com/apache/beam/pull/12287/files ) 中看到了这个 MR，但我似乎无法理解如何使用它。任何帮助，将不胜感激
我有一个在 Spark 上运行的 Apache Beam 管道。管道从 Kafka 主题 (KafkaIO) 读取并写入文件 (FileIO)。我经常需要停止管道并更新一些外部参数。这会导致一些数据丢失。有没有办法优雅地关闭管道？各种排水，以避免数据丢失。
我在 github ( https://github.com/apache/beam/pull/12287/files ) 中看到了这个 MR，但我似乎无法理解如何使用它。任何帮助，将不胜感激