我正在使用 Azkaban 3.4.1,我的一个流程有 30 多个依赖项。一些依赖项比另一个需要更长的时间。所以,我想优先考虑这些流程,然后再启动其他流程。(因为运行线程有限)
目前并行执行的数量是有限的flow.num.job.threads
,10
默认情况下。我尝试增加该属性并确保立即开始漫长的过程,但 cpu 变得非常高,所以我不确定这是一个好的选择。
我正在使用 Azkaban 3.4.1,我的一个流程有 30 多个依赖项。一些依赖项比另一个需要更长的时间。所以,我想优先考虑这些流程,然后再启动其他流程。(因为运行线程有限)
目前并行执行的数量是有限的flow.num.job.threads
,10
默认情况下。我尝试增加该属性并确保立即开始漫长的过程,但 cpu 变得非常高,所以我不确定这是一个好的选择。
使用这个分叉https://github.com/hanip-ss/azkaban/releases/tag/3.4.2。
我现在可以job.priority
在作业属性文件中添加值。