我们在 Amazon EC2 上运行我们的集群。我们正在使用 cloudera 脚本来设置 hadoop。在主节点上,我们从以下服务开始。
609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode'
610 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start secondarynamenode'
611 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start jobtracker'
612
613 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop dfsadmin -safemode wait'
在从机上,我们运行以下服务。
625 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start datanode'
626 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start tasktracker'
我们面临的主要问题是,hdfs 安全模式恢复需要一个多小时,这导致我们的工作完成延迟。
以下是主要的日志消息。
1. domU-12-31-39-0A-34-61.compute-1.internal 10/05/05 20:44:19 INFO ipc.Client: Retrying connect to server: ec2-184-73-64-64.compute-1.amazonaws.com/10.192.11.240:8020. Already tried 21 time(s).
2. The reported blocks 283634 needs additional 322258 blocks to reach the threshold 0.9990 of total blocks 606499. Safe mode will be turned off automatically.
第一条消息会在任务跟踪器日志中抛出,因为作业跟踪器未启动。由于 hdfs 安全模式恢复,作业跟踪器未启动。
在恢复过程中抛出第二条消息。
有什么我做错了吗?正常的hdfs安全模式恢复需要多长时间?在启动作业跟踪器之前不启动任务跟踪器会不会有任何加速?亚马逊集群上是否有任何已知的 hadoop 问题?
谢谢你的帮助。