1

当我在下面运行命令时，

s3-dist-cp --src s3://test/9.19 --dest hdfs:///user/hadoop/test

我收到有关 auxService 的错误。

20/02/03 07:52:13 INFO mapreduce.Job: Task Id : attempt_1580716305878_0001_m_000000_2, Status : FAILED
Container launch failed for container_1580716305878_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

在许多 QnA 中，我找到了类似此 链接的解决方案。

但是nodemanager没有进程。

[hadoop@ip-172-31-37-115 ~]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 8149
hadoop-yarn-resourcemanager start/running, process 17331
hadoop-yarn-proxyserver start/running, process 8147

我的 EMR 是通过 emr-5.28.0 的快捷菜单创建的。有没有人知道这个问题？

谢谢！

4

1 回答 1

0

我确信有一些方法可以更新配置，但我所做的是使用“高级”设置创建一个集群并选择这些软件包：

Ganglia Hive Hue Mahout Pig Tez Spark Hadoop（共 8 个）

除了 spark 之外，大多数都是使用默认设置安装的（快速设置中软件包的第一个单选按钮）。这些软件包之一或与之相关的东西s3-dist-cp是安装的原因，我能够使用它而没有任何问题。

于 2020-02-21T00:11:03.490 回答