azure - Performance analysis of U-SQL script

Question

When I run a U SQL script from portal/visual studio it follows stages like preparing,queued,running,finalizing. What exactly happens behind the scenes in all these stages?Will there be any execution time difference when the job is run from visual studio/portal in dev and production environment? We need to clock the speeds and record the time the script would take in production.Ultimately, the goal is to run these scripts as Data Factory activities in production.

Answer 1

我假设会有差异，因为我假设您的开发环境可能会以比您的生产环境更低的资源使用率（作业之间和作业内部的并行度较低）运行。否则应该没有区别。

请注意，我们仍在努力提高性能，因此如果您遇到特定问题，请告诉我们。

这些阶段大致执行以下操作（我可能遗漏了一些部分）：

准备：包括编译、优化、Codegen、准备执行图和所需资源以及将作业放入队列。

排队：一旦作业位于队列顶部并且有资源可用于启动作业，该作业就位于队列中以执行。这可以通过设置可以并行运行的最大作业数来影响（您可以通过“致电”支持/我们来设置该设置）。

running：实际作业执行。这将受到资源的影响：作业中指定的最大并行数、网络带宽、存储访问（限制、带宽）。

finalizing：清理并将结果拼接到文件中，“密封”表文件。这可能会更昂贵，具体取决于您将数据写入的位置（例如，ADL 比 WASB 更快）。