2

我有一个 Gulp 任务，我在 ZIP 文件中添加大量文件（在一种情况下超过 2700 个，但在其他情况下可能是数千个）。代码如下：

const fs = require('fs');
const archiver = require('archiver')('zip');

let zip = fs.createWriteStream('my-archive.zip');
return gulp.src('app/**/*')
  .pipe(through.obj((file, encoding, cb) => {
    let pathInZip = '...';
    if (!isADirectory(file.path)) { // Do not zip the directory itself
      archiver.append(fs.createReadStream(file.path), {
        name: pathInZip,
        mode: fs.statSync(file.path)
      });
    }
    cb(null, file);
  }, cb => {
    // Now create the ZIP file!
    archiver.pipe(zip);
    archiver.finalize();
    cb();
  }));

此代码适用于小型项目，但是当它处理超过 2000 个文件时，我收到以下错误：

events.js:154
throw er; // Unhandled 'error' event
^

Error: EMFILE: too many open files, open 'd:\dev\app\some\file'
at Error (native)

所以我知道在将它们写入 ZIP 之前同时打开 2000 多个文件并不是一个好主意。

如何在无需打开所有文件的情况下要求写入 ZIP 文件？

谢谢。

有关信息：节点 5.5.0 / npm 3.8.5 / archiver 1.0.0 / windows

4

1 回答 1

2

Gulp 已经处理了很多你想做的事情：

  • gulp.src()读取文件内容并对fs.stat()每个文件进行调用。然后，它将作为file.contents和file.stat在vinyl-file它发出的对象上存储。
  • 它通过使用graceful-fs包来做到这一点，该包会在出现 EMFILE 错误时自动退出，并在另一个文件关闭时重试。这可以防止您遇到的“打开的文件过多”问题。

不幸的是，您没有利用其中的任何一个，因为：

  • 您正在对fs.statSync()and进行显式调用fs.createReadStream()。真的没有必要这样做，因为 gulp 已经为你做到了。您有效地读取了每个文件两次（并在此过程中创建了两倍数量的文件描述符）。
  • fs您通过直接使用对“打开的文件过多”问题没有任何防护措施的模块来规避 gulp 对 EMFILE 的内置保护。

我已经重写了您的代码以利用 gulp 的功能。我还尝试让它更符合 gulp 的习惯，例如通过使用gulp-filter来摆脱目录：

const gulp = require('gulp');
const fs = require('graceful-fs');
const archiver = require('archiver')('zip');
const through = require('through2');
const filter = require('gulp-filter');

gulp.task('default', () => {
  var zip = fs.createWriteStream('my-archive.zip');
  archiver.pipe(zip);
  return gulp.src('app/**/*')
    .pipe(filter((file) => !file.stat.isDirectory()))
    .pipe(through.obj((file, encoding, cb) => {
      var pathInZip = '...';
      archiver.append(file.contents, {
        name: pathInZip,
        mode: file.stat
      });
      cb(null, file);
    }, cb => {
      zip.on('finish', cb);
      archiver.finalize();
    }));
});
于 2016-07-25T19:54:10.040 回答