0

我正在这个站点的帮助下安装 CDH4.6.0我正在运行 start-all.sh 来启动服务。

  /etc/init.d/hadoop-hdfs-namenode start

  /etc/init.d/hadoop-hdfs-datanode start

  /etc/init.d/hadoop-hdfs-secondarynamenode start

  /etc/init.d/hadoop-0.20-mapreduce-jobtracker start

  /etc/init.d/hadoop-0.20-mapreduce-tasktracker start

  bin/bash [to start bash prompt after starting services]

在将这些指令作为 docker 文件的一部分执行后，例如

 CMD ["start-all.sh"]

它启动所有服务

当我jps它时，我只能看到

 jps
 Namenode
 Datanode
 Secondary Namenode
 Tasktracker

但工作跟踪器尚未启动。日志如下

  2015-01-23 07:26:46,706 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: 
  Initializing JVM Metrics with processName=JobTracker, sessionId=
  2015-01-23 07:26:46,735 INFO org.apache.hadoop.mapred.JobTracker: 

  JobTracker up at: 8021

  2015-01-23 07:26:46,735 INFO org.apache.hadoop.mapred.JobTracker: 

  JobTracker webserver: 50030
  2015-01-23 07:26:47,725 INFO org.apache.hadoop.mapred.JobTracker:    

  Creating the system directory

  2015-01-23 07:26:47,750 WARN org.apache.hadoop.mapred.JobTracker: Failed 

  to operate on mapred.system.dir (hdfs://localhost:8020/var/lib/hadoop-

  hdfs/cache/mapred/mapred/system) because of permissions.

  2015-01-23 07:26:47,750 WARN org.apache.hadoop.mapred.JobTracker: This 

  directory should be owned by the user 'mapred (auth:SIMPLE)'

  2015-01-23 07:26:47,751 WARN org.apache.hadoop.mapred.JobTracker: Bailing out ...

  org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

但是当我再次从 bash 提示符启动它时，它就可以工作了。为什么这样？有什么建议么？

我可以从日志中看到它。Job tracker 从 8020 端口开始，为什么要在 8020 端口运行？这是个问题吗？如果是这样，如何应对？

4

1 回答 1

0

似乎 mapred 用户没有权限在 HDFS 根目录中写入文件/目录。

在启动 mapreduce 服务之前切换到 hdfs 用户并为 mapred 用户分配必要的权限。

sudo -su hdfs ; 

hadoop fs -chmod 777 / 

/etc/init.d/hadoop-0.20-mapreduce-jobtracker stop;  /etc/init.d/hadoop-0.20-mapreduce-jobtracker start
于 2015-01-23T11:26:21.980 回答