hadoop - 如何将 mac 连接到 hadoop/hdfs 集群

Question

我有在集群中运行的 CDH，并且我可以通过 ssh 访问机器。我需要将我的 Mac 连接到集群，所以如果我执行 hadoop fs -ls ，它应该会显示集群的内容。我已将 HADOOP_CONF 配置为指向集群的配置。我在集群中运行 CDH4。我在这里遗漏了什么，可以连接吗？

我需要做一些 ssh 密钥设置吗？

Answer 1

您需要确保执行以下操作：

1. 您需要将HADOOP_CONF_DIR环境变量设置为指向包含指向集群的配置 XML 的目录。
2. 您的 Mac 应该能够直接访问构成集群的主机（所有主机）。这可以通过 VPN 来完成，例如 - 如果集群受到外部网络的保护。
3. 您的 Mac 应该带有与集群运行相同版本的 Hadoop。