2

（下面的新信息）我正在尝试设置一个 lambda 函数，该函数通过解压缩上传的 tgz 文件并将结果写回 S3 来对它们做出反应。解压缩和解压缩工作正常，但上传到 S3 失败：

/Users/russell/lambda/gzip/node_modules/aws-sdk/lib/s3/managed_upload.js:350
    var buf = self.body.read(self.partSize - self.partBuffer.length) ||
                        ^
TypeError: undefined is not a function
    at ManagedUpload.fillStream (/Users/russell/lambda/gzip/node_modules/aws-sdk/lib/s3/managed_upload.js:350:25)
    at Entry.<anonymous> (/Users/russell/lambda/gzip/node_modules/aws-sdk/lib/s3/managed_upload.js:167:28)
    at Entry.emit (events.js:104:17)
    at Entry._read (/Users/russell/lambda/gzip/node_modules/tar/lib/entry.js:123:12)
    at Entry.end (/Users/russell/lambda/gzip/node_modules/tar/lib/entry.js:82:8)
    at Parse._process (/Users/russell/lambda/gzip/node_modules/tar/lib/parse.js:107:13)
    at BlockStream.<anonymous> (/Users/russell/lambda/gzip/node_modules/tar/lib/parse.js:47:8)
    at BlockStream.emit (events.js:107:17)
    at BlockStream._emitChunk (/Users/russell/lambda/gzip/node_modules/tar/node_modules/block-stream/block-stream.js:145:10)
    at BlockStream.write (/Users/russell/lambda/gzip/node_modules/tar/node_modules/block-stream/block-stream.js:45:10)

当我写入 S3 时会发生此错误，但如果我将文件本地写入磁盘它可以工作，因此管道是正确的。

这是演示该问题的代码：

var aws = require('aws-sdk');
var s3 = new aws.S3({apiVersion: '2006-03-01'});
var zlib = require('zlib');
var tar = require('tar');
var fstream = require('fstream');

fstream.Reader({'path': 'testdata.tar.gz'})
    .pipe(zlib.Unzip())
    .pipe(tar.Parse())
    .on('entry', function(entry) {
        var filename = entry.path;
        console.log('got ' + entry.type + ' ' + filename);
        if (entry.type == 'File') {
            if (1) { // switch between working and nonworking cases
                s3.upload({Bucket: 'my_bucket', Key: 'gunzip-test/' + filename, Body: entry}, {},
                          function(err, data) {
                              if (err) 
                                  console.log('ERROR!');
                              else
                                  console.log('OK');
                          });
            }
            else {
                entry.pipe(fstream.Writer({ 'path': '/tmp/mytest/' + filename }));
            }
        }
    });

如果将代码设置为写入 S3，则会失败并出现上述错误，如果将提取的文件写入本地，则会成功。ENTRY 是一个流，根据文档应该在上传的 Body 参数中接受。我在 ManagedUpload 中放了一条打印语句，失败的地方，并确认 self.body 是一个流：

var stream = require('stream');
console.log('is it a stream? ' + ((self.body instanceof stream) ? 'yes' : 'no'));
console.log('self.body.read is ' + self.body.read);

返回

$ got File gunzip.js
is it a stream? yes
self.body.read is undefined

我对 aws 和 node.js 很陌生，所以这可能存在一个基本问题，但我花了一天时间并没有找到它。我使用 unzip 而不是 gzip 进行了上传调用，它起作用了（使用 lambda 函数在 S3 中解压缩档案真的很慢）有人能指出我在这段代码中做错了什么吗？

谢谢

我想我对这一点理解得更好一些。我把管道分成几块，逐一查看。问题是 tar.Parse 使用 fstream 而不是流。如果我查看 .pipe(tar.Parse()) 语句的返回，它是一个流，但它不是 stream.Readable 或 stream.Writable。fstream 没有定义 read() 方法（它的 reader 是基于 Stream，它不是 stream.Readable），所以基于 Stream 的 tar.Parse 也没有。

所以问题的一个改进是，这是 fstream 中的一个错误，还是 fstream 不打算成为一个流？我认为这是一个错误-来自自述文件：

“像 FS 流，但在它们上面有统计信息，并支持目录和符号链接，以及普通文件。此外，您可以使用它来设置文件的统计信息，即使您不更改其内容，或创建符号链接等。”

4

2 回答 2

15

在我的情况下，通过stream.PassThrough运行流有所帮助。

var PassThrough = require('stream').PassThrough;

var stream = getStreamSomeHow();
var passthrough = new PassThrough();

stream.pipe(passthrough);

s3.upload({...,Body:passthrough}) //
于 2015-11-20T07:08:39.223 回答
-1

你的 body 变量是一个 Stream 对象，在这种情况下你需要使用 .toString()

var aws = require('aws-sdk');
var s3 = new aws.S3({apiVersion: '2006-03-01'});
var zlib = require('zlib');
var tar = require('tar');
var fstream = require('fstream');

fstream.Reader({'path': 'testdata.tar.gz'})
    .pipe(zlib.Unzip())
    .pipe(tar.Parse())
    .on('entry', function(entry) {
        var filename = entry.path;
        console.log('got ' + entry.type + ' ' + filename);
        if (entry.type == 'File') {
            if (1) { // switch between working and nonworking cases
                s3.upload({Bucket: 'my_bucket', Key: 'gunzip-test/' + filename, Body: entry.toString()}, {},
                          function(err, data) {
                              if (err) 
                                  console.log('ERROR!');
                              else
                                  console.log('OK');
                          });
            }
            else {
                entry.pipe(fstream.Writer({ 'path': '/tmp/mytest/' + filename }));
            }
        }
    });
于 2015-02-24T10:00:32.313 回答