azure - Azure 数据工厂数据集切片

Question

我在理解 Azure 数据工厂中的切片（数据集可用性）时遇到了一些麻烦。假设我有一个永远不会改变的源数据集。然后我出于某种原因为我的源数据集设置了每小时切片。那么每个切片会是相同的吗？在这种情况下使用切片有什么意义（即为什么需要它）？或者另一种情况，假设我的源数据集连续附加了新数据（例如事件日志）。每天早上我都想对该日志的所有历史进行一些分析。然后我应该设置每日切片吗？每个切片会包含完整的历史记录还是仅包含最后一天？

Answer 1

切片是在管道的开始和结束属性中定义的时间段内执行管道的间隔。如果您有一个修复源并且您多次执行一个活动，它将始终使用相同的源（因为它不会更改）。假设您将开始时间和结束时间设置为一天，并将频率设置为 1 小时 - 活动将执行 24 次。您将拥有 24 个切片，所有切片都使用相同的数据源。

对于第二种情况，如果数据不断变化，您可以将频率设置为每天一次。将处理的内容取决于您在管道中定义的活动 - 假设管道在完成处理后删除旧源，或者活动中的逻辑只接受新数据。