5

我对 Node.js 比较陌生。我正在尝试将 83 个大小约为 400MB 的 XML 文件转换为 JSON。

每个文件都包含这样的数据（除了每个元素都有大量的附加语句）：

<case-file>
  <serial-number>75563140</serial-number>
  <registration-number>0000000</registration-number>
  <transaction-date>20130101</transaction-date>
  <case-file-header>
     <filing-date>19981002</filing-date>
     <status-code>686</status-code>
     <status-date>20130101</status-date>
  </case-file-header>
  <case-file-statements>
     <case-file-statement>
        <type-code>D10000</type-code>
        <text>"MUSIC"</text>
     </case-file-statement>
     <case-file-statement>
        <type-code>GS0351</type-code>
        <text>compact discs</text>
     </case-file-statement>
  </case-file-statements>
  <case-file-event-statements>
     <case-file-event-statement>
        <code>PUBO</code>
        <type>A</type>
        <description-text>PUBLISHED FOR OPPOSITION</description-text>
        <date>20130101</date>
        <number>28</number>
     </case-file-event-statement>
     <case-file-event-statement>
        <code>NPUB</code>
        <type>O</type>
        <description-text>NOTICE OF PUBLICATION</description-text>
        <date>20121212</date>
        <number>27</number>
     </case-file-event-statement>
   </case-file-event-statements>

我尝试了很多不同的 Node 模块，包括 sax、node-xml、node-expat 和 xml2json。显然，我需要从文件中流式传输数据并通过 XML 解析器进行管道传输，然后将其转换为 JSON。

我还尝试阅读一些博客等，试图解释如何解析 Xml，尽管表面上。

在 Node 世界中，我首先尝试了 sax，但我不知道如何以可以将其转换为 JSON 的格式提取数据。xml2json 不适用于流。node-xml 看起来令人鼓舞，但我无法弄清楚它如何以任何有意义的方式解析块。node-expat 指向 libexpat 文档，这似乎需要博士学位。Node elementree 做同样的事情，指向 Python 实现，但没有解释实现了什么或如何使用它。

有人可以指出我可以用来入门的例子吗？

4

3 回答 3

6

尽管这个问题已经很老了，但我正在分享我的问题和解决方案，这可能对所有试图转换XML为JSON.

这里的实际问题不是转换，而是处理巨大的 XML 文件，而不必一次将它们保存在内存中。

使用几乎所有广泛使用的软件包，我遇到了以下问题 -

  • 许多包支持XML转换JSON涵盖所有场景，但它们不适用于大文件。

  • 很少有包（如xml-flow、xml-stream）支持大型 XML 文件转换，但转换过程错过了一些极端情况，即转换失败或提供不可预测的 JSON 结构（在此 SO 问题中解释）。

理想的解决方案是结合这两种方法的优点，这正是我所做的，并提出了xtreamer node package。

简而言之，xtreamer像xml-flow/一样接受重复节点，xml-stream但发出重复的 xml 节点而不是转换后的 JSON。这提供了以下优点 -

  • 我们可以xtreamer在任何可读流扩展时使用它进行管道传输transform stream。
  • 发出的 XML 节点可以传输到任何 XML 到 JSON 解析器以获取所需的 JSON。
  • 我们可以更进一步，将 JSON 解析器与xtreamer& 连接起来，它将调用 JSON 解析器并相应地发出 JSON。
  • xtreamer作为其stream唯一的依赖项和作为转换流扩展，它可以灵活地与其他流进行管道传输。

如果 XML 结构不固定怎么办？

我设法想出了另一个sax基于节点包xtagger，它读取 XML 文件并提供以下格式的文件结构 -

structure: { [name: string]: { [hierarchy: number]: number } };

这个包允许找出重复的节点名称，然后可以将其传递给xtreamer解析。

我希望这有帮助。:)

于 2018-09-28T21:38:25.177 回答
1

我怀疑这在 2-3 年后仍然有意义，但如果其他人偶然发现这一点，我会说xml-streamNPM 对我来说看起来相当简单。

如果您是想要避免的 Windows 用户，GYP但是我尝试添加一个非常简单的解决方案，sax用于从 XML 文件中逐个提取子项，它被调用no-gyp-xml-stream并且它可能没有很多功能，但它确实很容易使用：https ://www.npmjs.com/package/no-gyp-xml-stream

于 2016-11-18T10:51:29.867 回答
0

考虑到您的最后一个答案，我想现在您已经有了一个工作流程。

无论如何，如果您已经使用 SAX 成功解析了传入数据，则该解决方案可能只是将数据放入您设计的对象中并用于 yourStream.write(JSON.stringify(yourObject)) 将其流出。

于 2013-04-08T11:29:45.923 回答