4

这就是我读取大型 MongoDB 表的方式（每个对象的属性中都有非常大的数据块）：

DBCursor cursor = collection.find(/* my query */);
while (cursor.hasNext()) {
  DBObject object = cursor.next();
  doSomething(object); // no data stays in memory
}
cursor.close();

我越来越：

java.lang.OutOfMemoryError: Java heap space
at java.lang.StringCoding$StringDecoder.decode(Unknown Source)
at java.lang.StringCoding.decode(Unknown Source)
at java.lang.String.<init>(Unknown Source)
at org.bson.BasicBSONDecoder$BSONInput.readUTF8String(BasicBSONDecoder.java:463)
at org.bson.BasicBSONDecoder.decodeElement(BasicBSONDecoder.java:155)
at org.bson.BasicBSONDecoder._decode(BasicBSONDecoder.java:79)
at org.bson.BasicBSONDecoder.decode(BasicBSONDecoder.java:57)
at com.mongodb.DefaultDBDecoder.decode(DefaultDBDecoder.java:56)
at com.mongodb.Response.<init>(Response.java:83)
at com.mongodb.DBPort.go(DBPort.java:124)
at com.mongodb.DBPort.call(DBPort.java:74)
at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:286)
at com.mongodb.DBTCPConnector.call(DBTCPConnector.java:257)
at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:310)
at com.mongodb.DBApiLayer$MyCollection.__find(DBApiLayer.java:295)
at com.mongodb.DBCursor._check(DBCursor.java:368)
at com.mongodb.DBCursor._hasNext(DBCursor.java:459)
at com.mongodb.DBCursor.hasNext(DBCursor.java:484)

处理 200-300 个对象后抛出异常。驱动程序是否将数据保存在内存中？我在用着 

<dependency>
  <groupId>org.mongodb</groupId>
  <artifactId>mongo-java-driver</artifactId>
  <version>2.10.1</version>
</dependency>
4

1 回答 1

2

驱动程序将在内存中保存的对象数量取决于游标的批量大小。当您没有明确设置时，我不确定默认批量大小是多少。根据文档的最大大小和可用的堆空间量，您应该相应地设置批处理大小。请记住，当前 MongoDB 支持的最大文档大小为 16MB。

有关详细信息，请参阅MongoDB Java 驱动程序 API 文档中的DBCursor.batchSize()。

于 2013-09-10T18:56:34.750 回答