2

我有一个二进制应用程序，它生成一个连续的 json 对象流（不是一个 json 对象数组）。Json 对象有时可以跨越多行（仍然是有效的 json 对象，但经过美化）。

我可以连接到这个流并阅读它，而不会出现以下问题：

var child = require('child_process').spawn('binary', ['arg','arg']);

child.stdout.on('data', data => {
  console.log(data);
});

流是缓冲区并随时发出数据事件，因此我使用 readline 模块将缓冲区解析为行，并且它适用于不跨越的 Json 对象（我能够 JSON.parse() 行）在多条线上。

最佳解决方案是监听返回单个 json 对象的事件，例如：

child.on('json', object => {

});

我注意到流节点文档中的 objectMode 选项，但是我得到了 Buffer 格式的流，所以我相信我无法使用它。

在 pixl-json-stream, json-stream 上查看了 npm，但在我看来，这些都不符合目的。有 clarinet-object-stream 但它需要根据事件从头开始构建 json 对象。

我无法控制 json 对象流，大多数情况下一个对象在一行上，但是 10-20% 的时间 json 对象在多行上（\n 作为 EOL），对象之间没有分隔符。每个新对象总是从新行开始。

样本流：

{ "a": "a", "b":"b" }
{ "a": "x",
  "b": "y", "c": "z"
}
{ "a": "a", "b":"b" }

必须有一个解决方案我只是错过了一些明显的东西。宁愿找到合适的模块，然后用正则表达式破解流解析器来处理这种情况。

4

2 回答 2

2

我建议尝试解析每一行：

const readline = require('readline');

const rl = readline.createInterface({
 input: child.stdout
});

var tmp = ''
rl.on('line', function(line) {
  tmp += line
  try {
    var obj = JSON.parse(tmp)
    child.emit('json', obj)
    tmp = ''
  } catch(_) {
    // JSON.parse may fail if JSON is not complete yet
  }
})

child.on('json', function(obj) {
  console.log(obj)
})

由于 child 是 EventEmitter，因此只需调用 child.emit('json', obj)。

于 2016-04-23T17:24:41.840 回答
0

有同样的要求，我不喜欢强制要求换行符来支持 readline，需要能够处理在流中间（可能是 JSON 文档的中间）开始读取，并且不喜欢不断地解析和检查错误（似乎效率低下）。

因此，我更喜欢使用sax 解析器，在我去的时候收集文档并在整个 JSON 文档被解析后clarinet发出事件。doc

我刚刚将这个类发布到 NPM

https://www.npmjs.com/package/json-doc-stream

于 2018-04-05T17:37:54.900 回答