3

我正在尝试安装 hadoop 2.2.0 我在启动 dataenode 服务时遇到以下错误，请帮助我解决这个问题。在此先感谢。

2014-03-11 08:48:16,406 INFO org.apache.hadoop.hdfs.server.common.Storage：锁定 /home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode/in_use.lock 由节点名获取3627@prassanna-Studio-1558 2014-03-11 08:48:16,426 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode：块池块池 BP-611836968-127.0.1.1-1394507838610 初始化失败（存储id DS-1960076343-127.0.1.1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 java.io.IOException：/home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode 中的集群 ID 不兼容：namenode clusterID = CID-fb61aa70-4b15-470e-a1d0-12653e357a10；数据节点集群 ID = CID-8bf63244-0510-4db6-a949-8f74b50f2be9 在org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:391) 在 org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191) 在 org.apache。 hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219) 在 org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:837) 在 org.apache.hadoop.hdfs。 server.datanode.DataNode.initBlockPool(DataNode.java:808) 在 org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:280) 在 org.apache.hadoop.hdfs.server.datanode。 BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:222) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:664) at java.lang.Thread.run(Thread.java:662) 2014- 03-11 08:48:16,427 警告组织。apache.hadoop.hdfs.server.datanode.DataNode：结束块池服务：块池BP-611836968-127.0.1.1-1394507838610（存储ID DS-1960076343-127.0.1.1-50010-1394127604582）服务到localhost/127.0。 0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1-1394507838610（存储 ID DS-1960076343-127.0.1.1 -50010-1394127604582) 2014-03-11 08:48:18,532 警告 org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-11 08:48:18,534 信息 org.apache.hadoop.util .ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1 -1394507838610（存储 ID DS-1960076343-127.0.1.1-50010-1394127604582）2014-03-11 08:48:18,532 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-1108 :48:18,534 INFO org.apache.hadoop.util.ExitUtil: 退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1 -1394507838610（存储 ID DS-1960076343-127.0.1.1-50010-1394127604582）2014-03-11 08:48:18,532 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-1108 :48:18,534 INFO org.apache.hadoop.util.ExitUtil: 退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /18,534 INFO org.apache.hadoop.util.ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：SHUTDOWN_MSG：/18,534 INFO org.apache.hadoop.util.ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：SHUTDOWN_MSG：/* ** * ** * ** * ** * ** * ** * ** * ** * ** * ** * *** SHUTDOWN_MSG：在 prassanna-Studio-1558/127.0.1.1 关闭 DataNode

4

3 回答 3

4

确保您已准备好正确的配置和正确的路径。这是在 ubuntu 上运行 Hadoop的链接。

我已经使用此链接在我的机器中设置了 hadoop，它工作正常。

于 2014-03-07T06:19:05.340 回答
3

这只是表明数据节点试图启动但发生了一些异常并死亡。

请检查 hadoop 安装文件夹中日志文件夹下的 datanode 日志（除非您更改了该配置）是否有异常。它通常指向某种配置问题，尤其是。网络设置（/etc/hosts）相关但有很多可能性。

于 2014-03-07T04:49:34.987 回答
-1

参考这个，

1.检查JAVA_HOME---

    readlink -f $(which java) 
    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

2.如果JAVA不可用，通过命令安装

    sudo apt-get install defalul-jdk

比运行 1. 并检查终端

    java -version 
    javac -version

3.配置SSH

Hadoop 需要 SSH 访问权限来管理其节点，即如果您想在其上使用 Hadoop，则远程机器加上您的本地机器（这是我们在这个简短教程中想要做的）。因此，对于我们的 Hadoop 单节点设置，我们需要为用户配置对 localhost 的 SSH 访问。

    sudo apt-get install ssh
    sudo su hadoop
    ssh-keygen -t rsa -P “”
    cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
    ssh localhost

下载并解压hadoop-2.7.3（选择有读写权限的目录）

设置环境变量

    sudo gedit .bashrc
    source .bashrc

设置配置文件

必须修改以下文件才能完成 Hadoop 设置：

~/.bashrc   (Already done)
(PATH)/etc/hadoop/hadoop-env.sh 
(PATH)/etc/hadoop/core-site.xml 
(PATH)/etc/hadoop/mapred-site.xml.template 
(PATH)/etc/hadoop/hdfs-site.xm

gedit (PATH)/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

gedit (PATH)/etc/hadoop/core-site.xml:

该(HOME)/etc/hadoop/core-site.xml文件包含 Hadoop 在启动时使用的配置属性。此文件可用于覆盖 Hadoop 启动时使用的默认设置。

    ($ sudo mkdir -p /app/hadoop/tmp)

打开文件并在<configuration></configuration>标签之间输入以下内容：

gedit /usr/local/hadoop/etc/hadoop/core-site.xml 
<configuration> 
 <property> 
  <name>hadoop.tmp.dir</name> 
  <value>/app/hadoop/tmp</value> 
  <description>A base for other temporary directories.</description> 
 </property> 

 <property> 
  <name>fs.default.name</name> 
  <value>hdfs://localhost:54310</value> 
  <description>The name of the default file system.  A URI whose 
  scheme and authority determine the FileSystem implementation.  The 
  uri's scheme determines the config property (fs.SCHEME.impl) naming 
  the FileSystem implementation class.  The uri's authority is used to 
  determine the host, port, etc. for a filesystem.</description> 
 </property> 
</configuration>


(PATH)/etc/hadoop/mapred-site.xml

默认情况下，该(PATH)/etc/hadoop/文件夹包含(PATH)/etc/hadoop/mapred-site.xml.template必须使用名称重命名/复制的文件mapred-site.xml：

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

mapred-site.xml 文件用于指定 MapReduce 使用哪个框架。

我们需要在<configuration></configuration>标签之间输入以下内容：

    <configuration> 
     <property> 
      <name>mapred.job.tracker</name> 
      <value>localhost:54311</value> 
      <description>The host and port that the MapReduce job tracker runs 
      at.  If "local", then jobs are run in-process as a single map 
      and reduce task. 
      </description> 
     </property> 
    </configuration>

(PATH)/etc/hadoop/hdfs-site.xml

(PATH)/etc/hadoop/hdfs-site.xml需要为正在使用的集群中的每个主机配置该文件。

它用于指定将用作该主机上的名称节点和数据节点的目录。

在编辑这个文件之前，我们需要创建两个目录，其中包含这个 Hadoop 安装的 namenode 和 datanode。这可以使用以下命令完成：

sudo mkdir -p /usr/local/hadoop_store/hdfs/namenode 
sudo mkdir -p /usr/local/hadoop_store/hdfs/datanode

打开文件并在<configuration></configuration>标签之间输入以下内容：

    gedit (PATH)/etc/hadoop/hdfs-site.xml 

    <configuration> 
     <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
      <description>Default block replication. 
      The actual number of replications can be specified when the file is created. 
      The default is used if replication is not specified in create time. 
      </description> 
     </property> 
     <property> 
       <name>dfs.namenode.name.dir</name> 
       <value>file:/usr/local/hadoop_store/hdfs/namenode</value> 
     </property> 
     <property> 
       <name>dfs.datanode.data.dir</name> 
       <value>file:/usr/local/hadoop_store/hdfs/datanode</value> 
     </property> 
    </configuration>

格式化新的 Hadoop 文件系统

现在，需要对 Hadoop 文件系统进行格式化，以便我们可以开始使用它。格式命令应具有写权限，因为它在文件夹下创建当前目录/usr/local/hadoop_store/：

    bin/hadoop namenode -format

或者

    bin/hdfs namenode -format

HADOOP 设置完成

现在启动hdfs

start-dfs.sh
start-yarn.sh

检查网址： http://localhost:50070/

用于停止 HDFS

stop-dfs.sh
stop-yarn.sh
于 2017-08-14T09:20:38.263 回答