1

我需要 SAX 解析，因为我想检查恶意格式错误的 XML。这是我第一次使用这个库。

我创建了一个 XML 文件 (18MB)，其中包含一个名称非常非常长的属性。

    <?xml version="1.0"?>
    <company>
        <staff>
            <firstname VERYLONGATTRIBUTENAME...VERYLONGATTRIBUTENAME="some value"> 
yong</firstname>
        <lastname>mook kim</lastname>
        <nickname>mkyong</nickname>
        <salary>100000</salary>
    </staff>
    <staff>
        <firstname>low</firstname>
        <lastname>yin fong</lastname>
        <nickname>fong fong</nickname>
        <salary>200000</salary>
    </staff>
</company>

我只是这样调用 SAXParser

saxParser.parse("test.xml", handler);

所有的事件处理程序都是空的。但是出现OutOfMemoryError: Java heap space。为什么会这样？我选择 SAX 是因为它是基于流/事件的，并且在处理此类问题时不会遇到问题（与 DOM 相比）。

编辑：我通过每次加倍来增加属性名称的长度。它一直有效，直到我达到这个 18MB 的文件。

编辑 2：堆栈跟踪

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:2882)
    at java.lang.StringValue.from(StringValue.java:24)
    at java.lang.String.<init>(String.java:178)
    at com.sun.org.apache.xerces.internal.util.SymbolTable$Entry.<init>(SymbolTable.java:338)
    at com.sun.org.apache.xerces.internal.util.SymbolTable.addSymbol(SymbolTable.java:178)
    at com.sun.org.apache.xerces.internal.impl.XMLEntityScanner.scanName(XMLEntityScanner.java:726)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanAttribute(XMLDocumentFragmentScannerImpl.java:1523)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanStartElement(XMLDocumentFragmentScannerImpl.java:1320)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next(XMLDocumentFragmentScannerImpl.java:2756)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(XMLDocumentScannerImpl.java:647)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(XMLDocumentFragmentScannerImpl.java:511)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:808)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
    at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:119)
    at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(AbstractSAXParser.java:1205)
    at com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(SAXParserImpl.java:522)
    at javax.xml.parsers.SAXParser.parse(SAXParser.java:395)
    at javax.xml.parsers.SAXParser.parse(SAXParser.java:277)
    at com.thundercloud.httpfilter.XMLParser.test(XMLParser.java:150)
    at com.thundercloud.httpfilter.HTTPInterceptor.main(HTTPInterceptor.java:34)

提前致谢

4

3 回答 3

1

您可以在 Eclipse Run->Run Configuration 中找到您的内存设置。查找 Java 应用程序并找到您尝试运行的类的名称，选择它，单击“参数”选项卡。VM Arguments 部分的设置是什么？如果为空，请将以下值添加到 VM 参数部分。

-Xms512M -Xmx1024M

此外，还有一个与 JDK6 有关的关于SAX 解析器抛出 OutOfMemoryError的错误。受影响的版本是更新 14 之前的 JDK6。请检查您的 Java 版本以确保它不适用于您。

编辑：根据评论，我修改了我的答案并建议在 VM 参数部分添加以下 VM 设置

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath="c:\temp\oomdump.hprof".

然后您可以使用 Eclipse MAT http://www.eclipse.org/mat/之类的工具来分析转储文件以查看真正的问题

于 2013-02-26T07:50:39.950 回答
0

You may want to check out ScaleDOM, which allows to parse very large XML files: https://github.com/whummer/scaleDOM

ScaleDOM has a small memory footprint due to lazy loading of XML nodes. It only keeps a portion of the XML document in memory and re-loads nodes from the source file when necessary.

于 2013-09-13T14:22:16.957 回答
0

首先，我认为任何属性名称都不会那么长。尝试增加堆大小，然后检查。

java -jar -Xms<min_size> -Xmx<max_size> <ur_jar>
于 2013-02-26T07:39:38.820 回答