azure-data-lake - 向 U-SQL 表插入数据耗时过长？

Question

将数据插入 U-SQL 表需要太多时间。我们正在使用分区表来重新计算先前处理的数据。在具有 11、5 和 1 分区且并行度设置为 10 的三个表上，第一次插入花费了将近 10-12 分钟。第二次插入相同数据花费了将近 4 个小时。目前我们正在使用基于年份的分区。我们在不添加分区的情况下测试了插入和查询，性能要好得多。这是分区表的问题吗？

Answer 1

很奇怪，同样的工作在同样的并行度下执行同样的数据和脚本需要更长的时间。如果您从 VisualStudio 中查看作业图（或顶点执行信息），您能看到时间花在了哪里吗？

请注意，（粗粒度）分区更多是一种数据生命周期管理功能，允许您处理表的各个分区，而不一定是性能功能（尽管分区消除可以帮助提高查询性能）。但它不应该使用相同的脚本、资源和数据从几分钟到几小时。