1

我正在使用 pyspark / databricks 将 ETL 数据从镶木地板文件传输到 CosmosDB（documentdb api）。

尽管第一次成功测试了 5 行数据，但每次尝试在 cosmosdb 中写入数据都无济于事。即使只有一排，它也会永远运行。监控 cosmosdb 时，“metrics”界面中会显示定期、恒定的写入请求流到正确的集合，但没有写入任何内容。

在火花的标准错误中有错误说明“{“错误”：[“请求的资源在服务器上不再可用。”]}“但它没有失败，它只是循环。

我什至不知道如何在那里找到问题。

配置：

writeConfigUL = {
    "Endpoint" : "",
    "Masterkey" : "",
    "Database" : "Database",
    "Collection" : "Collection",
    "WritingBatchSize" : 500,
    "Upsert" : "true"
}

以“覆盖”模式写入

使用 azure_cosmosdb_spark_2_3_0_2_11_1_2_7_uber.jar

4

0 回答 0