0

我对 NLP 很陌生，并且正在使用 GATE。如果我为大型数据集（包含 7K+ 记录）运行我的代码，我会收到 OOM 异常。下面是发生异常的代码。

    /**
 * Run ANNIE
 * 
 * @param controller
 * @throws GateException
 */
public void execute(SerialAnalyserController controller)
        throws GateException {
    TestLogger.info("Running ANNIE...");
    controller.execute();     /**** GateProcessor.java:217 ***/

    // controller.cleanup();
    TestLogger.info("...ANNIE complete");
}

这是日志：

    Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.HashMap.addEntry(Unknown Source)
at java.util.HashMap.put(Unknown Source)
at java.util.HashMap.putAll(Unknown Source)
at gate.annotation.AnnotationSetImpl.<init>(AnnotationSetImpl.java:111)
at gate.jape.SinglePhaseTransducer.attemptAdvance(SinglePhaseTransducer.java:448)
at gate.jape.SinglePhaseTransducer.transduce(SinglePhaseTransducer.java:287)
at gate.jape.MultiPhaseTransducer.transduce(MultiPhaseTransducer.java:168)
at gate.jape.Batch.transduce(Batch.java:352)
at gate.creole.Transducer.execute(Transducer.java:116)
at gate.creole.SerialController.runComponent(SerialController.java:177)
at gate.creole.SerialController.executeImpl(SerialController.java:136)
at gate.creole.SerialAnalyserController.executeImpl(SerialAnalyserController.java:67)
at gate.creole.AbstractController.execute(AbstractController.java:42)
at in.co.test.GateProcessor.execute(GateProcessor.java:217)

我想知道执行功能到底发生了什么以及如何解决它。谢谢。

4

1 回答 1

6

在 GATE 中处理大型（或许多）文档可能需要大量内存，GATE 需要大量空间来存储注释。另一方面，各种处理资源也需要大量内存：地名词典、基于统计模型的标记器等。

Gate 开发人员 GUI 中的一个技巧是将文档语料库存储在数据存储中，然后仅加载语料库并运行管道。GATE 足够聪明，可以一次加载一个文档，对其进行处理，然后在打开下一个文档之前保存并关闭它。（您可以先将一个空的语料库存储在数据存储中，然后从文件夹中“填充”它，这将再次一个一个地加载文档而不会浪费内存。）

这正是您应该在代码中执行的操作、打开文档、处理、保存和关闭，然后再打开下一个。如果您有一个大文档，则应将其拆分（以不会破坏您的注释性能的方式）。

这是来自“Advanced GATE Embedded”模块的代码示例：

// for each piece of text:

Document doc = (Document)Factory.createResource("gate.corpora.DocumentImpl",
              Utils.featureMap("stringContent", text, "mimeType", mime));
Corpus corpus = Factory.newCorpus("webapp corpus");
try {
  corpus.add(doc);
  application.execute();
  ...
finally {
  corpus.clear();
  Factory.deleteResource(doc);
}
于 2013-03-04T10:46:37.947 回答