hadoop - 在伪分布式hadoop模式下管理hdfs

Question

我想在我的四核机器上用 hadoop 和 mahout 做一些计算，所以我在伪分布式模式下使用 hadoop。

问题是我的根驱动器上的空间是有限的，所以我该如何配置它以使用其他外部硬盘驱动器上的可用空间。

Answer 1

您可以配置 hdfs 存储其数据的位置。将以下内容添加到您的 conf/hdfs-site.xml：

<property>
    <name>dfs.data.dir</name>
    <value>__path_to_where_you_want_to_store_your_data/hdfs/data/</value>
</property>
<property>
    <name>dfs.name.dir</name>
    <value>__path_to_where_you_want_to_store_your_data/hdfs/name/</value>
</property>

在这些更改之后，您必须格式化您的名称节点：

hadoop namenode -format