7

我正在 Node Js 中读取一个大型 XML 文件（~1.5gb）。我正在尝试流式传输它并使用大块数据做一些事情，但我发现很难理解文档。

我目前的简单代码是：

var fs = require('fs');

var stream = fs.createReadStream('xml/bigxmlfile.xml');

stream.on('data', function(chunk){ 
    console.log(chunk)
});

控制台给出了一堆buffer像这样的十六进制（我认为）代码：

<Buffer 65 61 6e 2d 63 75 74 20 67 72 69 64 20 6c 69 6e 65 73 20 74 68 65 20 73 70 72 65 61 64 20 63 6f 6c 6c 61 72 20 61 6e 64 20 6d 69 74 65 72 65 64 2c 20 74 ...>
<Buffer 65 79 77 6f 72 64 73 3e 3c 2f 6b 65 79 77 6f 72 64 73 3e 3c 75 70 63 3e 34 32 39 35 36 30 31 33 38 33 38 39 3c 2f 75 70 63 3e 3c 6d 31 3e 36 38 38 39 31 ...>
<Buffer 6f 75 6e 74 3e 3c 63 75 72 72 65 6e 63 79 3e 55 53 44 3c 2f 63 75 72 72 65 6e 63 79 3e 3c 2f 63 6f 73 74 3e 3c 69 6e 66 6f 72 6d 61 74 69 6f 6e 3e 3c 2f ...>
<Buffer 65 20 62 72 69 65 66 73 20 74 68 61 74 20 73 69 74 20 63 6f 6d 66 6f 72 74 61 62 6c 79 20 61 74 20 74 68 65 20 68 69 70 73 2e 20 43 6f 6c 6f 72 28 73 29 ...>
<Buffer 3c 64 65 73 63 72 69 70 74 69 6f 6e 3e 3c 73 68 6f 72 74 3e 43 7a 65 63 68 20 63 72 79 73 74 61 6c 73 20 73 70 72 69 6e 6b 6c 65 20 61 20 73 6c 69 6e 67 ...>

我也试过：

var fs = require('fs');
var parseString = require('xml2js').parseString;

var stream = fs.createReadStream('xml/lsnordstrom.xml');

stream.on('data', function(chunk){ 
    //do something on file data
    parseString(chunk, function (err, result) {
        console.log(result);
    });
});

（所以我可以读取将 XML 流解析为 JSON）但我undefined在控制台中得到结果。

我如何实际将这些数据转换为有用的东西？

4

1 回答 1

18

您可以像这样设置流编码：

var stream = fs.createReadStream('xml/lsnordstrom.xml');
stream.setEncoding('utf8');

或者将缓冲区转换为字符串：

stream.on('data', function(chunk) { 
  chunk.toString('utf8');
});

此外，要像您尝试那样解析 XML，您需要一个流解析器。

于 2013-12-16T02:51:11.427 回答