5

我正在尝试编写一个允许我的用户将文件上传到我的谷歌云存储帐户的应用程序。为了防止覆盖并在我这边进行一些自定义处理和日志记录，我使用 Node.js 服务器作为上传的中间人。所以过程是：

  1. 用户上传文件到 Node.js 服务器
  2. Node.js 服务器解析文件，检查文件类型，在数据库中存储一些数据
  3. Node.js 服务器上传文件到 GCS
  4. Node.js 服务器对用户请求的响应并带有通过/失败备注

关于如何将该文件发送到 GCS 的第 3 步，我有点迷失了。 这个问题提供了一些有用的见解，以及一个很好的例子，但我仍然感到困惑。

我知道我可以ReadStream为临时上传文件打开一个并将其传送到http.request()对象。我感到困惑的是如何在我的 POST 请求中表示管道数据是file变量。根据GCS API Docs，需要有一个file变量，并且必须是最后一个。

那么，如何为管道数据指定 POST 变量名称？

如果您能告诉我如何直接从我的用户上传中传输它，而不是将其存储在临时文件中，则可以加分

4

1 回答 1

4

我相信如果你想做 POST，你必须使用Content-Type: multipart/form-data;boundary=myboundary标题。然后，在正文中，write()每个字符串字段都是这样的（换行符应该是\r\n）：

--myboundary
Content-Disposition: form-data; name="field_name"

field_value

然后对于文件本身，write()对于正文是这样的：

--myboundary
Content-Disposition: form-data; name="file"; filename="urlencoded_filename.jpg"
Content-Type: image/jpeg
Content-Transfer-Encoding: binary

binary_file_data

这binary_file_data是您使用的地方pipe()：

var fileStream = fs.createReadStream("path/to/my/file.jpg");
fileStream.pipe(requestToGoogle, {end: false});
fileStream.on('end, function() {
    req.end("--myboundary--\r\n\r\n");
});

{end: false}防止自动关闭请求，pipe()因为您需要在完成发送文件后再写一个边界。--请注意边界末端的额外内容。

最大的问题是谷歌可能需要一个content-length标题（很可能）。如果是这种情况，那么您无法将用户的 POST 流式传输到 POST 到 Google，因为在content-length您收到整个文件之前，您无法可靠地知道它是什么。

标content-length头的值应该是整个正文的单个数字。执行此操作的简单方法是调用Buffer.byteLength(body)整个主体，但如果您有大文件，这会很快变得丑陋，并且还会终止流式传输。另一种方法是像这样计算它：

var body_before_file = "..."; // string fields + boundary and metadata for the file
var body_after_file = "--myboundary--\r\n\r\n";
var fs = require('fs');
fs.stat(local_path_to_file, function(err, file_info) {
    var content_length = Buffer.byteLength(body_before_file) + 
            file_info.size + 
            Buffer.byteLength(body_after_file);
    // create request to google, write content-length and other headers
    // write() the body_before_file part, 
    // and then pipe the file and end the request like we did above

但是，这仍然会扼杀您从用户流式传输到 google 的能力，必须将文件下载到本地磁盘以确定其长度。

备用选项

...现在，在经历了所有这些之后，PUT 可能是你的朋友。根据https://developers.google.com/storage/docs/reference-methods#putobject您可以使用transfer-encoding: chunked标题，因此您无需查找文件长度。而且，我相信请求的整个主体只是文件，因此您可以使用pipe()并在完成后让它结束请求。如果您使用https://github.com/felixge/node-formidable来处理上传，那么您可以执行以下操作：

incomingForm.onPart = function(part) {
    if (part.filename) {
        var req = ... // create a PUT request to google and set the headers
        part.pipe(req);
    } else {
        // let formidable handle all non-file parts
        incomingForm.handlePart(part);
    }
}
于 2012-03-30T21:00:19.380 回答