0

我通过本教程为单节点设置配置和部署了 hadoop 。一切都部署得很好,但是当我执行 jps 以查看活动进程时,未显示 datanode。我手动尝试通过转到 $HADOOP_HOME/bin 来启动 datanode:hadoop -datanode,但无济于事。基本上总结一下,hadoop集群的datanode进程根本没有运行。另外,我想知道一台机器是否可以安装2个hadoop。我将一个用于 mapreduce 进程,另一个用于搜索引擎。所以他们的目录不同,可以吗?此外,我一次运行一个 hadoop 操作。

编辑1#:- 如果这有帮助,这是我尝试通过 $HADOOP_HOME 运行 datanode 时的日志。

root@thinktank:/usr/local/hadoop/bin# hadoop datanode Warning: $HADOOP_HOME is deprecated.

13/08/27 16:34:57 INFO datanode.DataNode: STARTUP_MSG: /********************************** STARTUP_MSG: Starting DataNode STARTUP_MSG: host = thinktank/127.0.1.1 STARTUP_MSG: args = [] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.6.0_27
**********************************/
13/08/27 16:34:57 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
13/08/27 16:34:57 INFO impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
13/08/27 16:34:57 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
13/08/27 16:34:57 INFO impl.MetricsSystemImpl: DataNode metrics system started
13/08/27 16:34:57 INFO impl.MetricsSourceAdapter: MBean for source ugi registered.
13/08/27 16:34:57 WARN impl.MetricsSystemImpl: Source name ugi already exists!
13/08/27 16:34:57 ERROR datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data: namenode namespaceID = 1955988395; datanode namespaceID = 1705269445 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:414) at org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:321) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)

13/08/27 16:34:57 INFO datanode.DataNode: SHUTDOWN_MSG: /********************************** SHUTDOWN_MSG: Shutting down DataNode at thinktank/127.0.1.1 **********************************/
4

1 回答 1

3

你得到了错误Incompatible namespaceIDs。原因和解决方案在您完成教程的网站上有详细记录,因此我不会在这里进行描述。在这里为自己阅读

要回答您的其他问题,是的,您可以安装 2 个单独的 Hadoop。不应该引起任何问题,只是不要把它们混在一起!

于 2013-08-27T13:29:27.877 回答