apache-spark - 在 spark 中写入流数据时，不能在 outputMode() 中使用“更新”

Question

我正在尝试将 spark 中的流数据写入 delta 格式，但看起来它不允许我在outputMode()中使用更新，下面是我的代码和错误消息：

deltaStreamingQuery = (eventsDF
  .writeStream
  .format("delta")
  .option("checkpointLocation", checkpointPath)
  .outputMode("update")
  .queryName("stream_1p")
  .start(writePath)
)

AnalysisException: 'Data source com.databricks.sql.transaction.tahoe.sources.DeltaDataSource does not support Update output mode;'```

Answer 1

目前 Databricks Delta append仅complete支持outputMode. 将向表中添加新行并将覆盖表，因此也许这就是您要合并更新的内容。sinksappendcomplete

官方文档在这里=> https://docs.databricks.com/delta/delta-streaming.html