-1

我在一个非常简单的 hadoop 程序中遇到了这个问题，该程序进展到 99% 的还原阶段然后冻结。输入是一个非常精简的文件，大约 50 行文本，输出应该是非常直接的 ID 键值对及其频率。

我已将 mapred-site.xml 中的内存分配增加到 ~6Gig。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx6024m</value>
</property>

我试图检查日志文件，但它们都是空的，没有写入任何内容。请建议这可能有什么问题？

4

1 回答 1

-1

好的，所以当我开始使用更新的 Job & Configuration 类时，问题得到了解决。到目前为止，我使用的遗留代码似乎会导致很多错误。所以我想我的建议是使用最新的 hadoop 库而不是弃用的库。

遗憾的是，一些 hadoop 书籍仍然使用遗留类和 API 进行教学。--不要使用它们！

于 2013-10-06T01:31:33.453 回答