0

我正在按照一些指南来设置伪分布式模式，我运行 start-all.sh 并且守护进程都很好（其中 6 个），然后我启动了我的 WordCount 示例，该示例在独立模式下运行良好，但卡在 map 100%，减少 0%。

查看 jobtracker，reduce 任务处于 status reduce > copy。唯一的错误日志位于secondarynamenode.log：

2013-02-27 23:29:59,555 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:my_user_name cause:java.net.ConnectException: Connection refused 
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint:  
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused

我可以在没有密码的情况下 ssh localhost。Hadoop 版本是 1.1.1。我从命令行启动一个 jar 文件。

真的不知道是什么问题，有帮助吗？

提前致谢。

4

1 回答 1

0

您运行字数统计的数据量是多少？如果您在不使用组合器的情况下以独立模式在大型数据集上运行，那么它将造成一些麻烦。尝试

job.setMapperClass(<Mapper_Class>);
job.setCombinerClass(<Reducer_Class>);
job.setReducerClass(<Reducer_Class>);

在包含程序中驱动程序的 main 方法中。这可能会帮助你。

于 2013-03-05T15:20:03.027 回答