0

我正在尝试使用此链接在我的笔记本电脑上设置 hadoop 0.22.0 以用于学习目的

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

当我运行脚本 start-dfs.sh 这是输出

starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/bin/../logs/hadoop-raunak-secondarynamenode-ubuntu.out

的输出jps是：

18106 Jps
17269 NameNode
17556 DataNode
17845 SecondaryNameNode

但我看不到TaskTrackerorJobTracker正在运行。所以，谁能告诉我我可能会错过什么。我是一个新手，不知道需要什么信息。所以，请告诉我。

4

4 回答 4

7

我同意 Chris Gerken 的评论，您正在运行start-dfs.sh仅启动 HDFS 服务的脚本。start-mapred.sh如果您想要地图缩减服务（作业跟踪器和任务跟踪器），则需要运行。

此外，来自start-all.sh提示的已弃用消息：

echo "This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh"
于 2012-12-03T11:52:29.747 回答
4

如果您使用的是较新版本的 hadoop，您可能会发现它与您提到的教程略有不同。现在所有conf/文件都将在hadoop-installation/etc/hadoop目录中。

所有的 hadoop 守护进程都在sbin/目录中。

此外，当您运行sbin/start-all.sh脚本时，会说此命令已弃用，并会要求您运行start-dfs.sh，start-yarn.sh就我而言。

start-dfs.sh开始namenodeon master 和data-nodesonslave和secondarynamenodeon localhost。

start-yarn.sh启动了两个新进程，即ResourceManager和NodeManager。因此，我猜在这种情况下，ResourceManager是JobTracker和NodeManager是。TaskTracker

于 2016-07-26T11:41:18.620 回答
2

JobTracker 和 TaskTracker 是 MRv1（或 Hadoop 版本 1）中 MapReduce 执行所涉及的 2 个基本过程。这两个进程现在都在 MRv2（或 Hadoop 版本 2）中被弃用，并被资源管理器、应用程序主控和节点管理器守护进程所取代。如果您只使用 start-all.sh 那么它将启动您的以下服务。

7120 ResourceManager
6787 DataNode
6981 SecondaryNameNode
7573 Jps
6678 NameNode
7229 NodeManager
于 2017-09-01T10:15:16.963 回答
1

使用 JobTracker web 界面默认是http://localhost:50030/和 TaskTracker web 界面默认是http://localhost:50060/. 可能由于某种原因它没有在 JPS 中显示。

于 2012-12-03T05:54:58.477 回答