9

我正在尝试通过 AWS（流式作业）创建一个仅映射器的作业。reducer 字段是必需的，因此我提供了一个虚拟可执行文件，并将 -jobconf mapred.map.tasks=0 添加到 Extra Args 框中。在我安装的 hadoop 环境（0.20 版）中，不会启动减速器作业，但在 AWS 中，虚拟可执行文件会启动并失败。

如何在 AWS 中运行没有 reducer/mapper 的作业？

4

2 回答 2

11

你也可以使用 cat 或 NONE 作为 reducer 参数。

于 2010-02-28T06:57:51.737 回答
0

无法在 amazon M/R 中创建仅映射器的作业。我正在使用 Identity reducer (org.apache.hadoop.mapred.lib.IdentityReducer)。

于 2010-02-02T15:17:52.223 回答