azure-data-lake - 如何避免向 U-SQL 表添加重复项

Question

除了添加/截断分区之外，有没有办法避免在 U-SQL 表中添加重复记录。让我们假设两个记录只有唯一标识符不同。

Answer 1

您还可以在 U-SQL 查询中使用 ROWNUMBER()

@transactions =
   SELECT *,
   ROW_NUMBER() OVER(PARTITION BY Id ORDER BY Id DESC) AS RowNumber
   FROM @searchlog;

@result =
   SELECT Id,Name,Description,Age
   FROM @transactions
   WHERE RowNumber == 1;

这将获得文件中的唯一记录。

Answer 2

由于可伸缩性有限，U-SQL 表不提供 UNIQUE 约束，因此您必须确保ANTI SEMIJOIN在插入新数据之前使用唯一列来过滤掉新数据上可能存在的重复项。