0

我已经从我的动态 365 crm 设置了数据湖 cdm 导出。我想使用 Spark 来读取数据,我正在使用这个库,直到我将新列添加到表 https://github.com/Azure/spark-cdm-connector/blob/master/documentation/overview 之前,它都可以正常工作。 MD

在其限制部分,它指定不支持架构演变,这解释了为什么在添加新列后无法读取文件。

进一步检查 Synapse 链接的常见问题解答页面 https://docs.microsoft.com/en-us/powerapps/maker/data-platform/export-data-lake-faq#what-happens-when-i-add-a-柱子

似乎当添加新列时,只有新/更新行将具有新列,而旧行将保持不变。这也是我在数据文件夹中观察到的。

处理这种情况的最佳方法是什么?如果不是 Spark,我还可以使用哪些其他工具?

提前致谢。

问候, 亚历克斯

4

0 回答 0