hadoop - WebHDFS 与 HttpFS

Question

WebHDFS REST API和HttpFS 有什么区别？

如果我理解正确：

• HttpFS 是一个独立的服务，它在 HDFS 之上公开了一个 REST API
• WebHDFS 是 HDFS 内置的 REST API。它不需要任何进一步的安装

我对么？

什么时候建议使用其中一种而不是另一种？

Answer 1

我已阅读与您的问题相关的文章。以下是链接。

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS vs HttpFs WebHDFS 和 HttpFs 的主要区别：WebHDFS 需要访问集群的所有节点，当读取一些数据时，它会直接从该节点传输，而在 HttpFs 中，单个节点的行为类似于“网关”，并且将将数据传输到客户端节点的单点。因此，HttpFs 可能会在大文件传输期间被阻塞，但好消息是我们正在最大限度地减少访问 HDFS 所需的占用空间。