我正在使用 Webhdfs 在我的 hdfs 集群中存储文件。在 conf 文件中,我提到了复制因子为 2。使用 Webhdfs api,第一个 PUT 请求告诉我们要放置文件的数据节点的位置,并使用响应中的地址,我们使用第二个 PUT 请求。现在既然我们提到了复制因子是 2,文件将被复制到另一个数据节点,我们知道 2 个文件中第一个文件的位置,是否有可能获得第二个文件的位置,它是哪个数据节点位于?提前致谢
问问题
842 次
1 回答
0
首先,HDFS 中的文件不是作为一个整体存储的。相反,它们被切成块,并且这些块以复制的方式存储在整个集群中。所以你的问题应该是如何找到块的第二个副本而不是文件的位置。
您可以将 Web 浏览器指向namenode_machine:50070
HDFS WebUI。单击Browse the filesystem
并移至相关文件。单击此文件后,将打开一个新页面。向下滚动到:
Total number of blocks: 1
-4906713039323389639: 127.0.0.1:50010
这将向您显示该文件的所有块以及放置它们的机器。
高温高压
于 2013-06-14T14:53:57.817 回答