hadoop - 确定在 Pig 脚本中启动的 Mappers 和 Reducer 的数量

Question

我正在使用 Hortonworks 的沙盒虚拟机来运行Hadoop服务。我在模式下执行了一个Pig过滤器脚本。Tez与 不同Hive的是，Pig日志（控制台）不显示有关正在执行的映射器和减速器数量的任何信息。我看错地方了吗？

Answer 1

当您在 Tez 模式下运行时，它没有映射器或减速器。Tez 使用任务的 DAG（有向无环图）来处理数据。所以映射器/缩减器被顶点和边所取代。如果您使用的是 Ambari，它会提供“Tez View”以获取有关该作业的更多详细信息。此外，您可以启用/安装 Tez UI ( https://tez.apache.org/tez-ui.html ) 以查看该信息。