azure - 如何跳过 azure 数据工厂复制活动中的第 n 行？

Question

这是我要保存在数据库中的表，这是导致问题的行：

当我尝试下沉整个桌子时，会弹出此错误：

但是当我跳过前 4 行时，复制活动会正常调试。错误还提到了列分隔符，但这是我的设置，对我来说似乎没有错。

解决此问题的最佳解决方案是什么？

Answer 1

您最好创建一个没有要跳过的第 n 行的文件副本。另一种选择，打开文件并显示列分隔符。有可能有一些隐藏的内容打破了分隔符。

对于第一个选项，可以使用 Azure Functions 创建清理后的文件。

Answer 2

在复制活动设置中，您可以更改容错设置。将 Skip Incompatible row 启用为 true，您可以将日志路径设置为数据湖/存储帐户中的文件。启用此功能后，复制活动不会失败，而是将这些跳过的行记录到指定的文件中。

https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-fault-tolerance#configuration-1

您必须手动查看日志文件并决定跳过的行应该发生什么。