azure-data-lake - 我如何知道何时会在 Azure 数据湖分析中触发并行性？

Question

我有 Azure 数据湖分析作业，它使用 U-SQL 用户定义的运算符处理存储在 Azure 数据湖存储中的大约 380 万条记录。

在第一次运行时，我将并行度设置为 10，而在第二次运行时，我使用了并行度等于 1。令人惊讶的是，我两次执行的工作持续时间是相同的（大约 1.5 小时）。所以看起来我的工作没有触发并行性。是因为我使用了用户定义的运算符吗？我想知道如何确定何时触发并行性以及何时不触发？

Answer 1

您是否使用了用户定义的函数或自定义 UDO？

用户定义的函数不应妨碍并行性。自定义 UDO 可能取决于其内部结构。

作业图顶点表示什么？

您可以通过查看作业图来分析并行化，如果您下载配置文件，则可以查看顶点图并使用“诊断”选项卡进一步深入研究。播放实际上是否显示并行执行？

一般来说，系统应该根据您指定的限制、数据大小和查询操作的复杂性以及查询处理器收集和估计的统计信息自动并行化您的作业。