node.js - 吞咽。如何在不重复行的情况下合并文件

Question

我需要将 2 个文件与 gulp 合并。喜欢

concat = require('gulp-concat')

gulp.src(['file1', 'file2'])
.pipe(concat('merge'))
.pipe(gulp.dest('dest/'));

但没有行重复。因此，如果两个文件包含同一行，则合并文件只需要包含该行一次。

文件 1

lineA
lineB
lineC

文件2

lineD
lineA
lineF

合并

lineA
lineB
lineC
lineD
lineF

有这个插件吗？请帮忙）

Answer 1

您需要使用缓冲区映射器，这是map-stream的示例：

var concat = require('gulp-concat');
var map    = require('map-stream');

var uniqueFilterFn = function(item, idx, all) {
  return idx === all.indexOf(item);
};

gulp.src(['file1', 'file2'])
.pipe(concat('merge'))
.pipe(map(function(file, cb) {

  // convert file buffer into a string
  var contents = file.contents.toString();

  // split it by lines
  var lines = contents.split(/[\r\n]/);

  // apply the unique filter
  var uniqueLines = lines.filter(uniqueFilterFn);

  // join unique list into lines
  var output = uniqueLines.join('\n');

  // convert string back into buffer
  var buffer = new Buffer(output, 'binary');

  // replace the file contents
  file.contents = buffer;

  // continue
  return cb(null, file);
}))
.pipe(gulp.dest('dest/'));