0

在我将作业提交到 Hadoop 集群后，作业输入在节点之间进行拆分，我可以看到一些任务得到了两次并行运行的尝试。

例如，在节点 39attempt_201305230321_0019_m_000073_0开始任务尝试，并在 3 分钟后attempt_201305230321_0019_m_000073_1在节点 25 开始。在额外的 4 分钟内，第一次尝试 ( attempt_201305230321_0019_m_000073_0) 被杀死（没有任何通知，日志不包含任何信息），第二次尝试在半小时内成功完成。

这是怎么回事？如何防止创建重复尝试？这些重复的尝试是否有可能导致神秘的杀戮？

4

1 回答 1

3

你打开投机执行了吗？您可以使用以下代码来防止它：

job.getConfiguration().setBoolean(                                                                                                                 
                "mapred.map.tasks.speculative.execution", false);                                                                                          
job.getConfiguration().setBoolean(                                                                                                                 
                "mapred.reduce.tasks.speculative.execution", false);

以下是Hadoop 文档中关于推测执行的定义：

推测性执行：Hadoop 系统的一个问题是，通过将任务划分到多个节点上，一些速度较慢的节点可能会限制程序其余部分的速率。例如，如果一个节点有一个慢速磁盘控制器，那么它读取其输入的速度可能仅为所有其他节点的 10%。所以当 99 个 map 任务已经完成时，系统还在等待最后一个 map 任务签入，这比其他所有节点花费的时间要长得多。

通过强制任务彼此隔离运行，单个任务不知道它们的输入来自哪里。任务信任 Hadoop 平台来提供适当的输入。因此，相同的输入可以并行处理多次，以利用机器能力的差异。由于作业中的大多数任务即将结束，Hadoop 平台将在几个没有其他工作要执行的节点上安排剩余任务的冗余副本。这个过程被称为推测执行。当任务完成时，他们会向 JobTracker 宣布这一事实。无论哪个任务副本首先完成，都将成为最终副本。如果其他副本是推测性地执行，Hadoop 会告诉 TaskTracker 放弃任务并丢弃它们的输出。

默认情况下启用推测执行。您可以通过将 mapred.map.tasks.speculative.execution 和 mapred.reduce.tasks.speculative.execution JobConf 选项分别设置为 false 来禁用映射器和化简器的推测执行。

于 2013-05-27T14:54:06.377 回答