spark-structured-streaming - Azure 事件中心流式处理：检查点是否覆盖 setStartingPosition？

Question

如果我们在 EventHub conf 中指定起始位置，如下所示：

EventHubsConf(ConnectionStringBuilder(eventHubConnectionString).build)
  .setStartingPosition(EventPosition.fromStartOfStream)
or
  .setStartingPosition(EventPosition.fromEndOfStream)

并且还要在 StreamWriter 中指定检查点位置

streamingInputDF
  .writeStream
  .option("checkpointLocation", checkpointLocation)
  ...

重新启动后，是否setStartingPosition因为检查点始终用作开始读取的点而变得无关紧要？

谢谢。

Answer 1

重新启动 streamimg 查询时将使用存储在检查点文件中的偏移量信息。

有趣的是，结构化流媒体 eventthubs 集成指南中没有特别提到这一点，但是，在DStreams 指南中它是：

“连接器与结构化流检查点机制完全集成。您可以通过在查询中设置检查点位置来恢复查询的进度和状态。此检查点位置必须是 HDFS 兼容文件系统中的路径，并且可以开始查询时在 DataStreamWriter 中设置为一个选项。”

确保遵循检查点恢复的一般指导。