也许这是一个愚蠢的问题……但无论如何……
我如何理解辅助 namenode 做某事（我的意思是它有效），我必须配置它来做某事？
MapReduce 中的作业也默认并行运行，我的意思是你在 MR 中的程序总是并行运行？
我提出这些问题是因为我必须证明（我有一个项目要做）hadoop 上的作业是并行运行的。
提前谢谢你。
PS：对不起我的英语不好，希望我能理解。
问问题
81 次
1 回答
1
Yon，当您配置 Hadoop 时，您将hostname一些机器放入/conf/masters. 这是您的 SNN 将运行的地方。你可以去那台机器的终端发出JPS。这将向您显示当前正在运行的所有 java 处理。您应该能够看到 SecondaryNameNode 以及其他进程。像这样的东西：
apache@hadoop:~$ jps
21615 TaskTracker
21268 SecondaryNameNode
21014 DataNode
27656 HRegionServer
21362 JobTracker
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
17643 Jps
27364 HMaster
28451 Main
27194 HQuorumPeer
29811 RunJar
20744 NameNode
要交叉检查，您可以将其更改为其他机器并查看效果。或者，您可以通过 SNN 端口（默认为 50090）进行检查。是否有意义？
当您运行 MR 作业时，您可以mapreduce webUI通过将 Web 浏览器指向jobtracker_machine:50030. 在这里，您可以看到您正在运行的所有作业（或您之前运行过的作业）的列表，以及为特定作业创建的映射器/缩减器的总数。您可以单击一个作业，它将显示当前在您的集群上运行的所有映射器和减速器。你可以在那里看到每个映射器/减速器的进度。所有这些映射器/缩减器在不同的机器上并行运行。要验证您是否可以单击每个映射器，它将向您显示该特定映射器/减速器正在运行的机器以及每个映射器/减速器的完成百分比。
高温高压
于 2013-06-18T12:05:02.080 回答