hadoop - hadoop作业的实际处理时间

Question

我的集群当前被一个A需要很长时间并且具有VERY_LOW优先级的作业占用。

B我昨天开始另一份工作时A已经在运行，我认为它应该运行得很快。但是，我看到工作细节花了 47 分钟。我不认为这是实际的处理时间。我试图找出工作真正开始的时间。我在哪里可以看？

Answer 1

我似乎无法找到确切说明您所追求的任何地方，但您可以在端口 50030 上的作业跟踪器中查看作业，并查看各个映射器和减速器的详细信息。在那里，您可以看到每个单独的 mapper 和 reducer 从开始和结束时间完成任务所需的时间。

如果在您开始第二份工作时没有任何免费的映射器或减速器，那么在第一份工作释放它们之前，第二份工作将无法取得任何进展，这可能解释了为什么它声称需要这么长时间，因为他们可能没有实际上是同时运行的。作业开始的时间和第一个实际映射器启动的时间应该可以告诉您它是否只是在等待资源，这意味着您可以从整个 47 分钟中减去作业和映射器开始时间之间的时间段。