hadoop - 无法执行大于 10Kb 的数据

Question

我在服务器上安装了 Hadoop 1.3。还安装了 Ambari，允许详细查看系统。我已经安装了 Hue 并且一切正常，但是我有一个只能处理非常小的数据 (2Kb) 的猪脚本，当我尝试将数据的大小增加到 > 10Kb 时（我重复了数据以查看这是否是问题）它错误地说：

Message: Job failed! Error - # of failed Map Tasks exceeded allowed limit

如果有人可以提供帮助，那就太好了。我有一种感觉，这是我必须更改的 mapred 中的配置，但我尝试过的似乎没有做任何事情，因此我很抱歉。

谢谢

Answer 1

您显示的错误消息看起来像次要错误：查看日志以了解地图任务失败的原因。它几乎肯定与数据量无关，因为 10KB 不算什么。启动的映射任务的数量取决于输入文件的数量（或者更确切地说，输入拆分的数量）：看起来好像您正在增加要处理的文件数量，从而（无意中）包括导致失败的文件。

Answer 2

正在运行的 Pig 作业的“状态”旁边的链接应提供有关 MapReduce 错误的更多详细信息。