hadoop - 为 Pig 作业设置最小减速器数量

Question

我想为我的 Pig Job 设置要启动的最小减速器数量。我尝试使用： SET default_parallel 57;

但是，这迫使所有工作都有 57 个减速器。

是否有任何设置可以强制 Pig Job 具有最少 57 个或更多数量的减速器。

Answer 1

我不认为这是可能的。

您可以做的是将 57 设置default_parallel为 57，对于您希望拥有更多减速器的操作，您可以使用PARALLEL. 我知道这并不是你想要的。