azure-functions - 容错并记录 Azure Blob 存储中的不兼容行

Question

客户要求：

使用 azure 数据工厂将 blob 存储中的 csv 文件导入 SQL 数据仓库。
在 ADF 中使用“容错并记录 Azure Blob 存储中的不兼容行”策略。
并使用 Azure Function 将处理后的文件存档到 blob 存储中的其他位置：这些文件的一个位置成功导入，一个位置用于失败文件（文件具有不兼容的数据 - 格式错误，长度错误）

=>所以我需要获取活动窗口的skippedRowCount 的值才能知道这个活动有一些不兼容的行？有什么方法可以解决我的问题吗？非常感谢。

score 0 · Accepted Answer

在 ADF V2 中，跳过的行数作为复制活动输出的“rowsSkipped”属性返回。请参阅这两个链接：https ://docs.microsoft.com/en-us/azure/data-factory/copy-activity-overview#monitoring和https://docs.microsoft.com/en-us/azure/data -工厂/复制活动容错#monitor-skipped-rows

ADF V2 还允许您在后续活动中使用先前复制活动的输出，使用类似“@activity('MyCopyActivity').output.rowsSkipped")”的表达式。这里是如何使用输出表单查找的示例活动，你可以适应你的特殊情况。

对于您的用例，您可以将复制活动与两个 Web 活动链接起来，一个用于调用成功文件的文件存档，另一个用于记录/重新处理存储 blob 或 ADLS 中记录的失败行。

score 0 · Accepted Answer

您可以使用以下屏幕截图作为参考

@concat('logexceptions/people', '/', formatdatetime(utcnow(), 'yyyy'), '/', formatdatetime(utcnow(), 'MM'))

2 回答 2