我正在尝试使用 tarball 版本安装 CDH4,但面临的问题如下:
我从链接下载了压缩包https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs
我首先解压 hadoop-0.20-mapreduce-0.20.2+1341 tar 文件
我做了配置更改
hadoop-0.20-mapreduce-0.20.2+1341 since i wanted mrv1 not yarn .
cdh4安装中提到的第一件事是配置HDFS
我做了相关的改变
core-site.xml
hdfs-site.xml
mapred-site.xml
masters --- which is my namenode
slaves ---- my datanodes
复制集群中所有节点上的hadoop配置
做了一个namenode格式。
格式化后我必须启动集群,但在 bin 文件夹中不能
找到 start-all.sh 脚本。所以在那种情况下,我从命令开始
bin/start-mapred.sh
在日志中它显示在从节点上启动了 jobtracker 和 tasktracker 但是当我执行 jps
我只能看到
jobtracker
jps
进一步,使用以下命令在数据节点上启动了数据节点
bin/hadoop-daemon.sh start datanode .
它显示数据节点已启动。
Namenode 未启动,tasktracker 未启动。
当我检查我的日志时,我可以看到
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.FileNotFoundException: webapps/hdfs not found in CLASSPATH
不知道是什么阻止了我的集群工作。
早些时候我有一个 cdh3 运行。所以我停止了 cdh3 集群。然后我开始安装 cdh4 。此外,我更改了所有目录 hdfs-site.xml,即为 namenode 和 datanode 指定了新的空目录,而不是使用 cdh3 中定义的目录。
但似乎仍然没有任何帮助。
我也关闭了防火墙,因为我确实有 root 访问权限,但同样的事情它对我不起作用。
上面的任何帮助都会有很大的帮助。
谢谢你的回复,但是
我没有
start-dfs.sh file in bin folder
只有 /home/hadoop-2.0.0-mr1-cdh4.2.0/bin 文件夹中的文件为
start-mapred.sh
stop-mapred.sh
hadoop-daemon.sh
hadoop-daemons.sh
hadoop-config.sh
rcc
slaves.sh
hadoop
我现在使用的命令如下
用于启动数据节点:
for x in /home/hadoop-2.0.0-mr1-cdh4.2.0/bin/hadoop-* ; do $x start datanode ; done ;
用于启动 namenode :
bin/start-mapred.sh
我仍然在处理同样的问题。