azure-databricks - 如何解决 Azure Databricks Autoloader cloudfiles 源中的偏移不匹配错误？

Question

当从 Autoloader 流正在读取的数据源中删除某些文件时，会发生这种情况。

try:
    raw_df = spark.readStream.format("cloudFiles") \
            .option("cloudFiles.format","csv") \
            .option("cloudFiles.includeExistingFiles", "true") \
            .option("cloudFiles.allowOverwrites", "true") \
            .option("cloudFiles.schemaLocation", 
                opPath.outputPath +"/checkpoints/" + storageAccountInfo.adlsContainerName) \
            .option("delimiter","\t")\
            .load(source)

  except Exception as f:
    print(f)

错误图像