0

是否可以在 Hadoop 中的特定 IP 地址（或具有特定机架 ID 的机架中的某个节点）生成地图任务（或内部带有地图任务的 TaskTracker）？如果是的话，那么在此先感谢..

4

1 回答 1

1

不支持“开箱即用”，因为其中一个想法是提供分布式处理和故障转移 - 强制任务在特定节点上运行会否定这些目标。

话虽如此，您可能有一些方法可以实现这一点（我当然看到人们尝试在他们拥有异构集群设置的地方进行尝试）

  • 您可以在您的映射器/减速器设置中执行检查，如果任务在您不想要的节点上执行，则抛出异常。在作业失败之前，您需要设置最大失败任务数的配置属性。不是一个很好的解决方案，但我再次看到它有效
  • 您可能能够实现自己的调度程序（而不是容量或公平调度程序），但我不确定您将拥有多少控制权
于 2012-04-11T15:26:52.910 回答