2
4

1 回答 1

2

所以我想出了一个解决方案，至少在安装后验证 HDFS 是否在您的 Mesos DC/OS 集群上运行。

  1. dcos使用CLI SSH 到您的主服务器：dcos node ssh --master-proxy --leader
  2. 创建一个安装了 hadoop 的 docker 容器来查询您的 HDFS：docker run -ti cloudera/quickstart hadoop fs -ls hdfs://namenode-0.hdfs.mesos:9001/

为什么这不是一个好的解决方案以及需要注意的事项：

  1. 以前的文档都指向一个默认 URL hdfs://hdfs/，它会抛出一个java.net.UnknownHostException. 我不喜欢直接指向名称节点。
  2. 其他文档建议您可以hdfs fs ...在 SSH 进入集群时运行命令 - 这不像文档中那样工作。
  3. 我用来测试你可以访问 HDFS 的图像 > 4GB（更好的选择？）
  4. 这些都没有记录（或者至少没有清楚/完整地记录下来，因此我为什么要更新这篇文章）。我不得不通过 DC/OS 闲聊来寻找答案。
  5. Mesosphere/HDFS 存储库与通过dcos package install hdfs. 该存储库不再维护，新版本尚未开源（因此我猜缺少当前文档）。

我希望有一种更简单的方式来与我仍然缺少的 HDFS 交互。任何更好的解决方案仍然会非常有帮助！

于 2016-08-10T19:53:27.400 回答