我有一个在 Apache Beam(使用 Spark Runner)中开发的流管道,它从 kinesis 流中读取。
我正在寻找 Apache Beam 中的选项来管理 kinesis 检查点(即定期存储 kinesis 流的当前位置),以便它允许系统从故障中恢复并继续处理流停止的地方。
是否有可供 Apache Beam 支持类似于 Spark Streaming 的 kinesis 检查点的规定(参考链接 - https://spark.apache.org/docs/2.2.0/streaming-kinesis-integration.html)?