1

我正在尝试在 Amazon Elastic MapReduce 上使用 hadoop，我有数千个地图任务要执行。如果一小部分任务失败，我可以，但是，亚马逊会关闭该作业，并且当第一个映射器失败时，我会丢失所有结果。有没有可以用来增加允许的失败作业数量的设置？谢谢。

4

1 回答 1

3

这是hadoop的答案：

是否有任何属性来定义失败的映射器阈值

要在 EMR 中使用上述设置，请查看：

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

具体来说，您创建一个 xml 文件（示例中为 config.xml），其中包含您要更改的设置并应用引导操作：

./elastic-mapreduce --create \ --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \ --args "-M,s3://myawsbucket/config.xml"

于 2013-10-07T18:08:26.087 回答