eclipse - Hadoop HDFS 存储位置

Question

我已经使用 Eclipse 使用单节点集群配置了 Hadoop。而且我有大量要解析的文本文件。Eclipse 提供将文件直接上传到 HDFS，但我无法找到这些文件在我的驱动器中的确切存储位置。

我正在寻找的是配置 HDFS 的位置。这样我就可以直接将我的文本文件粘贴到该文件夹​​中。

Answer 1

这是在dfs.datanode.data.dir属性中设置的，默认为file://${hadoop.tmp.dir}/dfs/data（请参阅此处的详细信息）。

但是，您不能只将文件放在那里，因为 HDFS 不会自动发现它们。插入文件 HDFS 也涉及名称节点上的元数据操作。它不仅仅是复制文件那么简单。文件需要分成块，并且需要在名称节点中更新适当的元数据数据结构。您应该继续使用 Eclipse 提供的接口将文件上传到 HDFS，或者您可以在命令行中执行此操作（使用hdfs dfs -put）。