0

我已经成功地在https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation中描述的伪分布式模式下启动了单节点，在Window的wsl2环境下。之后，我尝试使用 MacBookPro 重复它。但不知何故start-dfs.sh失败了。终端抛出错误：

Stopping namenodes on [localhost]
Stopping datanodes
Stopping secondary namenodes [kakaoui-MacBookPro.local]
kakaoui-MacBookPro.local: ssh: connect to host kakaoui-macbookpro.local port 22: Connection refused
2021-06-26 23:01:23,377 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

好的。有答案说我应该通过系统属性启用 ssh 连接，但它已经设置好并且ssh localhost工作正常。

然后事情变得有价值；有时描述辅助名称节点失败为：

Starting secondary namenodes [kakaoui-MacBookPro.local]
kakaoui-MacBookPro.local: ssh: connect to host kakaoui-macbookpro.local port 22: Operation timed out

然后，当我离开 Mac 一段时间又一次 commandstart-dfs.sh时，它偶尔会成功。正如我所做的stop-dfs.sh和start-dfs.sh检查的那样，它失败了。

即使我可以成功start-dfs.sh，也会出现很多问题，例如无法启动数据节点或资源管理器或节点管理器等。我什至一次都无法运行 hadoop 环境。

感觉一切都混乱了，事情根本不稳定。尝试重新安装这个和那个已经好几次了。不幸的是，大多数启动失败甚至都没有记录在 /logs 文件夹中。

目前我正在使用：
macOS：Catalina 10.15.6
java：1.8.0_291
hadoop：3.3.1

我已经花了整整两天的时间来尝试。请帮忙！

4

2 回答 2

0

好的，我找到了我不明白的解决方案。我在启动过程中关闭了wifi连接，所有进程都启动了。虽然无法理解 wifi 连接如何干扰 ssh localhost。

于 2021-06-28T11:57:17.490 回答
0

在 hosts 文件中提供对所有工作节点的 ssh-key 更少的访问权限，甚至包括 localhost 和kakaoui-macbookpro.local。阅读在 OSX 上创建 SSH 公钥中的说明。

ssh localhost最后通过and ssh [yourworkernode](也许)测试没有密码的访问ssh kakaoui-macbookpro.local。

于 2021-06-26T15:01:37.733 回答