我已将 Apache Hadoop 2.2 安装为单节点集群。当我尝试执行 giraph 示例时,最终出现错误“LocalJobRunner,您不能在拆分主/从模式下运行,因为一次只有 1 个任务”。
我正在浏览论坛,我发现我可以更新 mapred-site.xml 以拥有 4 个映射器。我试过了,但仍然没有帮助。我遇到了,另外一个论坛是我可以将单节点设置更改为伪分布式模式,它解决了这个问题。
有人可以告诉我,我需要更改哪些配置文件才能使单节点设置表现为伪分布式模式。
我已将 Apache Hadoop 2.2 安装为单节点集群。当我尝试执行 giraph 示例时,最终出现错误“LocalJobRunner,您不能在拆分主/从模式下运行,因为一次只有 1 个任务”。
我正在浏览论坛,我发现我可以更新 mapred-site.xml 以拥有 4 个映射器。我试过了,但仍然没有帮助。我遇到了,另外一个论坛是我可以将单节点设置更改为伪分布式模式,它解决了这个问题。
有人可以告诉我,我需要更改哪些配置文件才能使单节点设置表现为伪分布式模式。
对于我的第一次设置,我遵循了一些手册,但对于单节点设置来说,最好的肯定是 pdf Apache Hadoop YARN_sample。我建议您逐步使用本手册
首先,确保工人的数量是一个。然后,您需要通过以下方式配置 Giraph 不拆分 worker 和 master:
giraph.SplitMasterWorker=false
您可以在 giraph-site.xml 中设置它或通过命令行选项传递:
-ca giraph.SplitMasterWorker=false
参考: https ://www.mail-archive.com/user@giraph.apache.org/msg01631.html
添加到 renZzz 答案,您还需要检查是否可以在没有密码的情况下 ssh 到 localhost:
$ ssh localhost
如果没有密码就无法 ssh 到 localhost,请执行以下命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
以下链接可以帮助您 - https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html