1

我在 Ubuntu 12.04 LTS 中部署了 Hadoop 0.23.6。我能够复制文件并进行文件操作。我正在使用 YARN 进行 mapreduce。

当我尝试使用 hadoop-mapreduce-examples-0.23.6.jar 运行任何 mapreduce 应用程序时，出现以下错误

使用的命令：bin/hadoop jar hadoop-mapreduce-examples-0.23.6.jar randomwriter -Dmapreduce.randomwriter.mapsperhost=1 -Dmapreduce.job.user.name=$USER -Dmapreduce.randomwriter.bytespermap=10000 -Ddfs.blocksize =536870912 -Ddfs.block.size=536870912 -libjars hadoop-mapreduce-client-app-0.23.6.jar 输出

Hadoop版本：0.23.6

container_1364342550899_0001_01_000002 的容器启动失败：java.lang.IllegalStateException：为尝试_1364342550899_0001_m_000000_0 返回了无效的随机播放端口号-1

4

1 回答 1

2

验证您的 yarn-site.xml 配置。您需要配置以下属性。

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

有关更多详细信息，请查看 jira https://issues.apache.org/jira/browse/MAPREDUCE-2983?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel

于 2013-03-27T14:36:29.557 回答