3

我正在使用 Azure 数据工厂的复制活动从日常文件夹中提取 Blob 存储中的分隔文本文件。这些列被映射并复制到表存储实体。这一切都很好。

我希望每组实体都使用正确的数据片(SliceStart)进行分区,理想情况下作为复合分区键的一部分(SliceStart 加上附加的一些其他属性)或失败,表实体本身的属性。

这样管道中的下一步(.NET 自定义活动)就可以获取正确的每日数据集。我知道我可以将当​​前的 SliceStart 作为扩展属性传递给 .NET 自定义 Activity,但是该 Activity 将如何使用 SliceStart 值来查询表存储数据以仅隔离匹配日的实体?

我无法可靠地使用时间戳,因为切片可能会排队或延迟,然后在同一天同时处理多个切片。在这种情况下,它们都将具有相同的时间戳,因此我无法区分不同的日子。

4

1 回答 1

0

使用 ADF V2,您可以实现这一目标。对 azureTableDefaultPartitionKeyValue 属性使用表达式。如果您使用的是schedule trigger ,请将 trigger().scheduledTime 传递给它。您也可以使用翻滚窗口触发器

于 2018-06-09T12:42:46.413 回答