5

如何将我的 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB？

我目前的设置是在使用 120GB 和 450GB 的 centOS6 机器上运行的 hadoop 1.2.1。已使用“Hadoop the Definitive Guide 3'rd 建议的 /conf 将 hadoop 设置为伪分布式模式。hdfs-site.xml 只有一个配置属性： 

   <configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>

以下行没有给出错误反馈...返回提示。

hadoop dfsadmin -setSpaceQuota 100g  /tmp/hadoop-myUserID

如果我处于再生循环中（已执行

 rm -rf /tmp/hadoop-myUserId

试图“从头开始”） setSpaceQuota 的这种看似成功的情况仅在我已执行时才会发生

  start-all.sh
  hadoop namenode -format

我的 dfs 容量配置失败显示为 

 hadoop dfsadmin -report

这显示了相同的 50GB 配置容量。

如果这是目前获得 100GB hdfs 配置容量的最佳方式，我愿意切换到 hadoop 2.2（现在是稳定版本）。似乎应该有 hdfs-site.xml 的配置属性，这将允许我使用更多的空闲分区。

4

2 回答 2

5

将 hdfs 的位置设置为具有更多可用空间的分区。对于 hadoop-1.2.1，这可以通过在 hadoop-1.2.1/conf/core-site.xml 中设置 hadoop.tmp.dir 来完成

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
     </property>
   <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/myUserID/hdfs</value>
    <description>base location for other hdfs directories.</description>
   </property>
</configuration>

跑步

df

曾说过我的 _home 分区是我的硬盘，我的 /
( _root) 分区减去 50GB。hdfs 的默认位置是 /tmp/hadoop-myUserId，它位于 / 分区中。这就是我最初的 50GB hdfs 大小的来源。

hdfs 目录的分区位置的创建和确认是通过以下方式完成的

mkdir ~/hdfs
df -P ~/hdfs | tail -1 | cut -d' ' -f 1

成功实施是由

stop-all.sh
start-dfs.sh
hadoop namenode -format
start-all.sh
hadoop dfsadmin -report

它将 hdfs 的大小报告为我的 _home 分区的大小。

感谢 jtravaglini 的评论/线索。

于 2013-10-25T12:22:27.900 回答
0

停止所有服务：stop-all.sh

然后根据增加 hdfs-site.xml 中的存储大小添加这些属性：

    <property>
        <name>dfs.disk.balancer.enabled</name>
        <value>true</value>
</property>
<property>
        <name>dfs.storage.policy.enabled</name>
        <value>true</value>
</property>
<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
</property>
<property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
</property>
 <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:///usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop_store/hdfs/datanode,[disk]file:///hadoop_store2/hdfs/datanode</value>
</property>

还记得将 [disk] 用于在文件夹中包含额外的磁盘，将 [ssd] 用于专用的额外 ssd 驱动器。永远记得检查目录指向的“///”三重“/”。

在那之后，

通过给出命令格式化namenode以获取在Hadoop集群中继承的设置

hadoop namenode -format 然后从头开始服务： Start-all.sh

"/*请记住，如果不格式化 hdfs，该设置将不会被激活，因为它将在 dfs.datanode.data.dir 中搜索 Blockpool Id (BP_ID)，而对于新位置，它将找不到任何 BP_ID。 "/*

于 2017-11-13T15:06:06.280 回答