1

我有一份工作，就像我所有的 Hadoop 工作一样，从我在 Hadoop 界面中看到的内容运行时，它似乎总共有 2 个地图任务。但是，这意味着它加载了太多数据，以至于我收到了 Java 堆空间错误。

我尝试在我的 Hadoop 集群中设置许多不同的 conf 属性，以将作业拆分为更多任务，但似乎没有任何效果。

我试过设置mapreduce.input.fileinputformat.split.maxsize, mapred.max.split.size，dfs.block.size但似乎没有任何效果。

我正在使用 0.20.2-cdh3u6，并尝试使用 cascading.jdbc 运行作业 - 该作业无法从数据库读取数据。我认为可以通过增加拆分次数来解决此问题，但不知道该怎么做！

请帮忙！快要疯了！

2013-07-23 09:12:15,747 FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: Java heap space
        at com.mysql.jdbc.Buffer.<init>(Buffer.java:59)
        at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1477)
        at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:2936)
        at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:477)
        at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2631)
        at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1800)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2221)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2618)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2568)
        at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1557)
        at cascading.jdbc.db.DBInputFormat$DBRecordReader.<init>(DBInputFormat.java:97)
        at cascading.jdbc.db.DBInputFormat.getRecordReader(DBInputFormat.java:376)
        at cascading.tap.hadoop.MultiInputFormat$1.operate(MultiInputFormat.java:282)
        at cascading.tap.hadoop.MultiInputFormat$1.operate(MultiInputFormat.java:277)
        at cascading.util.Util.retry(Util.java:624)
        at cascading.tap.hadoop.MultiInputFormat.getRecordReader(MultiInputFormat.java:276)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:370)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:324)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:266)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
        at org.apache.hadoop.mapred.Child.main(Child.java:260)
4

2 回答 2

1

您应该查看内存管理的设置，例如io.sort.mb或mapred.cluster.map.memory.mb因为堆空间错误通常是由于分配问题而不是映射编号。

如果要强制使用地图编号，则必须考虑某些值先于其他值使用。例如 ，即使您设置为很小的值，mapreduce.input.fileinputformat.split.maxsize如果 small 也会产生大量的任务。mapred.tasktracker.map.tasks.maximum

仅当dfs.block.size大于mapreduce.input.fileinputformat.split.maxsize

于 2013-07-23T15:12:37.817 回答
0

我的工作是从一个表中读取数据，其中 1,000 行等于大约 1MB。这项特殊的工作试图读取 753,216 个网址。原来每个任务进程的 Java 堆空间上限为 200MB。正如 Brugere 在对我的问题的评论中指出的那样，我可以设置控制堆空间的mapred.child.java.opts属性（ http://developer.yahoo.com/hadoop/tutorial/module7.html）。mapred-site.xml

我发现我还必须<final>true</final>在我的配置文件中设置此属性，否则该值将重置为 200MB（是否可能在代码中的某处重置？也许在 cascading.jdbc 中？）。

当我检测到它需要更多的堆空间时，我将在我的代码中设置这个堆空间属性来设置一个作业，而让一般的 Hadoop 配置设置使用默认的 200MB。

于 2013-07-24T10:21:10.327 回答