实际上我使用安装和配置了我的hadoop单集群
http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29
现在当我使用
NameNode - ( http://localhost:50070)/(对于我的名称节点)它运行良好,但对于
JobTracker - ( http://localhost:50030)/ 它不工作
可能是什么情况
谢谢
实际上我使用安装和配置了我的hadoop单集群
http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29
现在当我使用
NameNode - ( http://localhost:50070)/(对于我的名称节点)它运行良好,但对于
JobTracker - ( http://localhost:50030)/ 它不工作
可能是什么情况
谢谢
运行 $HADOOP_HOME/bin/start-all.sh 后,您可以键入命令“jps”来检查是否所有必要的 hadoop 进程都已启动。如果一切正常,应该是这样的:
hd0@HappyUbuntu:/usr/local/hadoop$ jps
18694 NameNode
19576 TaskTracker
19309 JobTracker
19225 SecondaryNameNode
19629 Jps
18972 DataNode
您的 JobTracker 进程可能无法正常工作。所以先检查一下。如果是真的,那么您应该查看日志目录中的日志文件以了解更具体的原因。
在新版本的 hadoop 中,您可以监控正在执行的作业
localhost:8088
你会在哪里找到新 hadoop 的 webUI
使用以下命令格式化您的名称节点。
$ <path_to_hadoop.x.xx>/bin/hadoop namenode -format
这将解决您的问题。
回复可能有点晚,但我希望对其他读者有用。
在 Hadoop 2.0 中,JobTracker 和 TaskTracker 不再存在,取而代之的是三个组件:
ResourceManager:一个调度程序,它在集群中的竞争应用程序之间分配可用资源。
NodeManager:在集群中的每个节点上运行,并从 ResourceManager 获取指导。它负责管理单个节点上可用的资源。
ApplicationMaster:框架特定库的实例,ApplicationMaster 运行特定的 YARN 作业并负责从 ResourceManager 协商资源,并与 NodeManager 一起执行和监视容器。
因此,只要您看到 ResourceManager(在 NN 上)和 NodeManager(在 DN 上)进程,您就可以开始了。
好吧.. Hadoop 使用的是什么发行版/版本?我已经很久没有使用 hadoop-site.xml 了。对于 Hadoop 1.0.x,它是 core-site.xml 和 mapred-site.xml。基本上,我认为 start-all 根本没有启动你的 jobtracker,因为它没有正确配置。
请尝试这个命令--- hadoop dfsadmin -safemode leave --- 更有效。
开始
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver