问题标签 [webhdfs]

需要从 hdfs 集群外部读取 HDFS。我偶然发现了 WebHdfsFileSystem，即使我明白了这个想法，但我无法让它与网络地址一起工作。例如，只要我使用 127.0.0.1 或 localhost，下面的代码就可以正常工作。但是此刻我使用的网络ip地址是192.168。. ，我收到“重试连接到服务器”消息，然后是 ConnectException。

我不确定我在这里错过了什么。

这里它为datanode返回sslave0，对我来说似乎是一个内部地址

在尝试使用 distcp 将大量数据泵送到另一个集群时，我们遇到了一个奇怪的问题。

给出一些数字，

数据大小 = 320GB 映射器数量 = ~70 我们集群中的节点总数 82 src 集群：hadoop 0.20 目标集群：hadoop 2.0.2

当我们开始这项工作时，所有映射器都成功完成，但最后一个需要太长时间，当它完成/失败时，它基本上会冻结作业跟踪器近 15 分钟，之后所有任务跟踪器都会重新启动，从而重新启动所有作业当时正在集群中运行。

我们有多个 distcp 作业将数据传输到 S3 以及具有相同 hadoop 设置的其他集群，并且没有遇到这个问题。这个过程和其他的唯一区别就是这里我们使用的是webhdfs，webhdfs是瓶颈吗？

我们还尝试减小文件大小，检查网络带宽是否饱和，机器负载，但仍然无法解决这个问题。

另外，当两个hadoop版本不同时，是否有其他方式进行数据传输而不是使用webhdfs

谢谢

我正在使用 Cloudera Hadoop 环境。

在过去的几天里，我已经熟悉了 WebHDFS。我正在使用它通过 REST API 执行各种 HDFS 操作。

但是，现在我需要保护与 WebHDFS 的通信，即使用 SSL/HTTPS。

这可能吗 ？如果是，是否有任何明确的步骤来实现这一目标？

PS：目前，我不想使用 Kerberos。

您好正在使用 OozieClient API。我需要使用 OozieClient API 检索特定工作流作业的任务跟踪器日志。如果不使用 OozieClient API，任何其他使用程序的方式也可以。到目前为止，使用 OozieClient 我可以使用 client.getJobLog() 获取作业日志，但我需要任务跟踪器日志而不是作业日志。请帮忙。

我有一个 nodejs 应用程序，我想将数据写入 hadoop HDFS 文件系统。我见过两个主要的 nodejs 库可以做到这一点：node-hdfs 和 node-webhdfs。有人试过吗？有什么提示吗？我应该在生产中使用哪一个？

我倾向于使用 node-webhdfs，因为它使用 WebHDFS REST API。node-hdfs 似乎是一个 c++ 绑定。

任何帮助将不胜感激。

我正在构建一个将一些数据推送到我的 HDFS 的客户端。因为 HDFS 在防火墙后面的集群内，所以我使用 HttpFS 作为代理来访问它。IOException当我尝试读取/写入 HDFS 时，客户端退出。消息是No FileSystem for scheme: webhdfs。代码很简单

它在最后一行崩溃。我正在使用 Maven 3.0.4 构建并将 Hadoop-Client 依赖项 2.2.0 添加到我的项目中。通过curl命令行访问可以正常工作。

任何想法为什么这可能会失败？

我需要将文件从 HDFS 复制到本地。现在，我有 2 个选项。1) 使用 Hadoop Native Java API (FileSystem) 或 2) 使用 WebHDFS [我没有；在我的集群中启用它没有任何问题]

有人可以让我知道什么是首选选项，为什么？

是真的 WebHDFS 不支持SequenceFiles吗？

我找不到任何说它确实的东西。我有通常的小文件问题，相信SequenceFiles会很好用，但我需要使用 WebHDFS。SequenceFile我需要通过 WebHDFS创建然后附加到一个。

如何通过api/web-services识别远程Hadoop集群的版本？即集群是1.x类型还是2.x类型？是否有任何可用的 API/Web 服务？

我研究过webhdfs？hadoop 文件系统但无法识别的方式来做到这一点？