hadoop - 谷歌计算引擎上的 Hadoop

Question

我正在尝试通过“启动点击部署软件”功能在 Google Compute Engine 中设置 hadoop 集群。我创建了 1 个主节点和 1 个从节点，并尝试使用主节点的 start-all.sh 脚本启动集群，我收到错误“权限被拒绝（公钥）”。

我已经在从节点和主节点中生成了公钥和私钥。

目前我用我的用户名登录主服务器，是否必须以“hadoop”用户身份登录主服务器。如果是这样，该用户 ID 的密码是什么。

请让我知道如何克服这个问题。

Answer 1

部署会创建一个用户，该用户hadoop拥有部署时动态生成的 Hadoop 特定 SSH 密钥；这意味着由于start-all.sh在后台使用 SSH，您必须执行以下操作：

sudo su hadoop
/home/hadoop/hadoop-install/bin/start-all.sh

否则，您的“普通”用户名没有正确设置 SSH 密钥，因此您将无法启动 Hadoop 守护程序，如您所见。

另一件需要注意的事情是，部署应该已经自动启动了所有 Hadoop 守护程序，因此您不需要手动运行 start-all.sh，除非您在一些手动配置更新后重新启动守护程序。如果在部署运行后守护程序没有运行，您可能在初始化期间遇到了一些意外错误。