0

我正在尝试使用 tarball 版本安装 CDH4,但面临的问题如下:

我从链接下载了压缩包https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs

我首先解压 hadoop-0.20-mapreduce-0.20.2+1341 tar 文件

我做了配置更改

hadoop-0.20-mapreduce-0.20.2+1341  since i wanted mrv1 not yarn .

cdh4安装中提到的第一件事是配置HDFS

我做了相关的改变

core-site.xml
hdfs-site.xml
mapred-site.xml
masters --- which is my namenode
slaves ---- my datanodes

复制集群中所有节点上的hadoop配置

做了一个namenode格式。

格式化后我必须启动集群,但在 bin 文件夹中不能

找到 start-all.sh 脚本。所以在那种情况下,我从命令开始

bin/start-mapred.sh

在日志中它显示在从节点上启动了 jobtracker 和 tasktracker 但是当我执行 jps

我只能看到

jobtracker
jps

进一步,使用以下命令在数据节点上启动了数据节点

bin/hadoop-daemon.sh start datanode .

它显示数据节点已启动。

Namenode 未启动,tasktracker 未启动。

当我检查我的日志时,我可以看到

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.FileNotFoundException: webapps/hdfs not found in CLASSPATH

不知道是什么阻止了我的集群工作。

早些时候我有一个 cdh3 运行。所以我停止了 cdh3 集群。然后我开始安装 cdh4 。此外,我更改了所有目录 hdfs-site.xml,即为 namenode 和 datanode 指定了新的空目录,而不是使用 cdh3 中定义的目录。

但似乎仍然没有任何帮助。

我也关闭了防火墙,因为我确实有 root 访问权限,但同样的事情它对我不起作用。

上面的任何帮助都会有很大的帮助。


谢谢你的回复,但是

我没有

start-dfs.sh file in bin folder 

只有 /home/hadoop-2.0.0-mr1-cdh4.2.0/bin 文件夹中的文件为

start-mapred.sh
stop-mapred.sh
hadoop-daemon.sh
hadoop-daemons.sh
hadoop-config.sh
rcc
slaves.sh
hadoop

我现在使用的命令如下

用于启动数据节点:

for x in /home/hadoop-2.0.0-mr1-cdh4.2.0/bin/hadoop-* ; do $x start datanode ; done ;

用于启动 namenode :

bin/start-mapred.sh

我仍然在处理同样的问题。

4

2 回答 2

1

您好,对于上述误解,您可以运行以下命令来启动您的 datanodes 和 namenode

启动名称节点:

hadoop-daemon.sh  start namenode 

启动数据节点:

hadoop-daemons.sh  start datanode 

要启动辅助名称节点:

hadoop-daemons.sh --hosts masters start secondarynamenode
于 2013-03-25T13:15:17.767 回答
-1

运行命令后,jobtracker 恶魔将在您的主节点中启动,tasktraker 恶魔将在您的每个数据节点启动

bin/start-mapred.sh

Hadoop Cluster Setup中,masternode 中的 JPS 命令将仅显示jobtacker恶魔,并且在您的每个数据节点中,您都可以使用 JPS 命令查看正在运行的Tasktracker恶魔。

然后你必须通过在你的主节点中运行以下命令来启动 HDFS

bin/start-dfs.sh

此命令将在您的名称节点机器中启动名称节点恶魔(在此配置中,我相信您的主节点本身),并且在您的每个从节点中启动数据节点恶魔

现在您可以在每个数据节点上运行 JPS,它会给出输出

tasktracker
datanode
jps

我认为这个链接会很有用 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

于 2013-03-24T21:29:19.347 回答