0

我有一个使用 MRJob 库用 python 编写的 MapReduce 作业。在我的本地机器上完成这项工作大约需要 30 分钟。在 EMR 上运行相同的作业时,我很长时间没有看到任何输出(~=1 小时)。我不得不停止工作。此外,在我的本地机器上花费很少时间的作业在 EMR 上运行得很好。我尝试增加超时,但任务跟踪器在超时后杀死了减速器。我收到以下错误消息

`Task attempt_201301181027_0001_r_000000_0 failed to report status for 3600 seconds.Killing!

EMR 为我的工作创建了 4 个映射器和一个减速器。此外,我编写的 reducer 代码需要对大约 11-12 MB 的整个数据集进行大量循环。我希望这项工作与我的本地机器在大约同一时间完成,但它没有发生。有什么解决办法??`

4

0 回答 0