4

我在 Ubuntu 14.04 上安装了 Hadoop 2.4，现在我正在尝试将内部 sata HD 添加到现有集群。

我已经在 /mnt/hadoop 中安装了新的 hd 并将其所有权分配给 hadoop 用户

然后我尝试将其添加到配置文件中，如下所示：

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>

   <property>
       <name>dfs.name.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
   </property>

   <property>
       <name>dfs.data.dir</name>
       <value>file:///home/hadoop/hadoopdata/hdfs/datanode, file:///mnt/hadoop/hadoopdata/hdfs/datanode</value>
   </property>
</configuration>

之后，我启动了 hdfs：

Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop-Datastore.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-hadoop-Datastore.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop-Datastore.out

似乎它没有启动第二个高清

这是我的 core-site.xml

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

此外，我尝试刷新名称节点，但出现连接问题：

Refreshing namenode [localhost:9000]
refreshNodes: Call From hadoop-Datastore/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
Error: refresh of namenodes failed, see error messages above.

另外，我无法连接到 Hadoop Web 界面。看来我有两个相关的问题：

 1) A connection problem
 2) I cannot connect to the new installed hd

这些问题有关系吗？我该如何解决这些问题？

谢谢

编辑

我可以 ping 本地主机，我可以访问 localhost:50090/status.jsp

但是，我无法访问 50030 和 50070

4

2 回答 2

7 
<property>
   <name>dfs.name.dir</name>
   <value>file:///home/hadoop/hadoopdata/hdfs/namenode, file:///mnt/hadoop/hadoopdata/hdfs/namenode</value>
</property>

这被记录为：

确定 DFS 名称节点应在本地文件系统上存储名称表 (fsimage) 的位置。如果这是一个以逗号分隔的目录列表，则名称表将复制到所有目录中，以实现冗余。

你确定你需要这个吗？您是否希望在两个位置复制您的 fsimage 以实现冗余？如果是的话，你在启动namenode之前是否真的在新硬盘上复制了fsimage？请参阅将新的名称节点数据目录添加到现有集群。

新的数据目录（dfs.data.dir）是好的，数据节点应该选择它并开始使用它来放置块。

此外，作为一般故障排除建议，请查看 namenode 和 datanode 日志以获取更多线索。

于 2014-06-16T10:03:09.587 回答
0

关于您的评论：“sudo chown -R hadoop.hadoop /usr/local/hadoop_store。” 所有者必须是 hdfs 用户。试试：sudo chown -R hdfs.hadoop /usr/local/hadoop_store。

于 2016-03-16T07:53:57.220 回答