在 Google 的 MapReduce 论文中，他们有一个备份任务，我认为这与 Hadoop 中的推测任务相同。投机任务是如何实现的？当我开始一项推测性任务时，该任务是从一开始就作为较旧且缓慢的任务开始，还是仅从较旧任务到达的位置开始（如果是，是否必须复制所有中间状态和数据？）
问问题
37985 次
1 回答
76
Hadoop 系统的一个问题是，通过将任务划分到多个节点上，一些速度较慢的节点可能会限制程序其余部分的速率。
任务可能由于各种原因变慢，包括硬件降级或软件配置错误，但原因可能难以检测，因为任务仍然成功完成，尽管时间比预期的要长。Hadoop 不会尝试诊断和修复运行缓慢的任务；相反，它会尝试检测任务何时运行比预期慢，并启动另一个等效的任务作为备份。这被称为任务的推测执行。
例如，如果一个节点有一个慢速磁盘控制器，那么它读取其输入的速度可能仅为所有其他节点的 10%。所以当 99 个 map 任务已经完成时，系统还在等待最后一个 map 任务签入，这比其他所有节点花费的时间要长得多。
通过强制任务彼此隔离运行，单个任务不知道它们的输入来自哪里。任务信任 Hadoop 平台来提供适当的输入。因此，相同的输入可以并行处理多次，以利用机器能力的差异。由于作业中的大多数任务即将结束，Hadoop 平台将在几个没有其他工作要执行的节点上安排剩余任务的冗余副本。这个过程被称为推测执行。当任务完成时，他们会向 JobTracker 宣布这一事实。无论哪个任务副本首先完成，都将成为最终副本。如果其他副本是推测性地执行，Hadoop 会告诉 TaskTracker 放弃任务并丢弃它们的输出。
默认情况下启用推测执行。您可以通过分别使用旧 API将mapred.map.tasks.speculative.execution和JobConf 选项设置为 false 来禁用映射器和化简器的推测执行，而对于较新的 API，您可以考虑更改和.mapred.reduce.tasks.speculative.executionmapreduce.map.speculativemapreduce.reduce.speculative
因此，要回答您的问题，它确实会重新开始，与其他任务完成/完成的程度无关。
于 2013-03-01T19:17:35.887 回答