node.js - node.js 如何流式传输 22GB gzipped 文件即时解压缩

Question

我需要遍历 22GB 压缩文件中的行。展开后，文件大小为 250GB。（这是Google Freebase db dump）

我对流不太了解。有没有办法在我去的时候流式传输文件并对其进行压缩？

这是另一种方式：

var r = fs.createReadStream('file.txt');
var z = zlib.createGzip();
var w = fs.createWriteStream('file.txt.gz');
r.pipe(z).pipe(w);

Answer 1

zlib.createGunzip这是使用而不是的反向操作zlib.createGzip：

var r = fs.createReadStream('file.txt.gz');
var z = zlib.createGunzip();
var w = fs.createWriteStream('file.txt');
r.pipe(z).pipe(w);