infosphere-spl - 在 IBM Streams 中处理大型 XML 文件时，XML Parse 运算符引发错误

Question

XML Parse 运算符在处理大型 XML 文件时引发此错误： 在 XML 解析期间发生以下错误：内部错误：巨大的输入查找

虽然文档说这已在 Streams 4.2.1.3 中修复，但我们可以将此参数添加到 XML Parse 运算符来修复它： xmlParseHuge: true;

较低版本的 Streams 不支持上述参数。如何在 Streams 4.2.1.1 中解决此问题？

Answer 1

如果 XML 数据来自 FileSource，请尝试使用较小的块大小来解析文件的解决方法：将其更改为 10000u*1024u 以成功完成大型 XML 解析。

stream<blob dataBlob,rstring fName> FileLoadedFromFS = FileSource(DirFileScanned){

param format : block;
      blockSize : 10000u*1024u;
      compression : gzip;
      parsing : fast;
      output FileLoadedFromFS:
      fName = FileName();
    }

来自：http ://www-01.ibm.com/support/docview.wss?uid=swg1IT22914

Answer 2

在 Streams 4.2.1.1 中没有更好的方法来做到这一点，我最终决定使用拓扑工具包来制作 Python 运算符。XML 元组通过此运算符传递，xml.etree.ElementTree 库用于解析 XML、提取所需数据并返回元组类型。