1

所以这是我正在使用的设置：

  1. 我在一个快速服务器上，它必须将归档的二进制有效负载流式传输到浏览器（不管它是zip，tar还是tar.gz- 虽然zip会很好）。
  2. 在这台服务器上，我打开了一个连接到另一台服务器的 websocket，该服务器正在向我发送目录中单个文件的二进制有效负载。我将这些有效负载逐个作为缓冲区流式传输，并且我正在串行执行此操作（即 - 逐个文件 - 一次没有打开多个 websocket，每个文件有一个 websocket ）。这是我正在使用的 websocket 库：https ://github.com/einaros/ws

我想浏览每个文件，打开一个 websocket，然后在缓冲区通过 websocket 时将它们附加到存档器。response当数据附加到存档器时，如果我可以将存档器的输出流式传输到浏览器（通过带有 的对象） ，那就太好了response.write。因此，基本上，当我从 websocket 获取有效负载时，我希望该有效负载通过存档器流式传输，然后发送到响应。:-)

我调查过的一些事情：

  1. node-zipstream - 这很好，因为它为我提供了一个输出流，我可以直接通过管道传输到response.write. 但是，它似乎不支持嵌套文件/文件夹，更重要的是，它只接受输入流。我查看了源代码（非常简洁易读），似乎如果我能够访问 中的update函数ZipStream.prototype.addFile，我可以每次在message事件中调用它，当我得到一个二进制缓冲区从网络套接字。虽然这很混乱/hacky，而且，鉴于这个库似乎已经不支持嵌套文件/文件夹，我不确定我是否会使用它。
  2. node-archiver - 这与 node-zipstream 存在相同的问题（可能是因为它受到了它的启发），它允许我管道输出，但我不能为存档中的同一个文件附加多个缓冲区（然后手动发出信号当给定文件附加了最后一个缓冲区时）。但是，它确实允许我拥有嵌套文件夹，这明显胜过 node-zipstream。

有什么我不知道的，或者这只是我想做的一件非常疯狂的事情吗？

我在这一点上看到的唯一选择是等待整个有效负载通过 websocket 流式传输，然后附加 node-archiver，但我真的很想获得真正的即时流式传输/存档的好处。

我还考虑过创建各种读取流的可能性，只是作为代理对象，我可以将它传递给节点归档器，然后将我从 websocket 获得的缓冲区附加到这个读取流。查看各种读取流，但我不确定如何执行此操作。我能想到的唯一方法是创建一个写入流，将缓冲区传输到它，然后从该写入流读取一个读取流。我在这里的思考过程是否正确？

与往常一样，感谢您提供 SO 社区的任何帮助/指导。

编辑：

由于我刚刚打开了这个问题，而且我是 node 新手，所以可能会有比我提供的更好的答案。如果有人在几天内提出自己，我将保持这个问题的开放并接受更好的答案。与往常一样，我会投票赞成任何其他答案，即使它们很荒谬，只要它们是正确的并且允许我像我的那样即时流式传输。

4

1 回答 1

0

我想出了一种方法来让这个与 node-archiver 一起工作。:-)

它基于我创建各种临时“代理流”的预感，受到这个 SO 问题的启发：如何在 Node.Js 中从字符串创建流？

基本要点是（coffeescript 语法）：

archive = archiver 'zip'
archive.pipe response // where response is the http response

// and then for each file...
fileName = ... // known file name
fileSize = ... // known file size
ws = .... // create websocket
proxyStream = new Stream()
numBytesStreamed = 0

archive.append proxyStream, name: fileName

ws.on 'message', (dataBuffer) ->
    numBytesStreamed += dataBuffer.length
    proxyStream.emit 'data', dataBuffer

    if numBytesStreamed is fileSize
        proxyStream.emit 'end'
        // function/indicator to do this for the next file in the folder

// and then when you're completely done...
archive.finalize (err, bytesOfArchive) ->
    if err?
        // do whatever
    else
        // unless you somehow knew this ahead of time
        res.addTrailers
            'Content-Length': bytesOfArchive
        res.end()

请注意，这不是我实施的完整解决方案。仍然有很多逻辑处理获取文件、它们的路径等。更不用说错误处理了。

编辑：

由于我刚刚打开了这个问题，而且我是节点新手，因此可能会有更好的答案。如果有人在几天内提出自己，我将保持这个问题的开放并接受更好的答案。与往常一样，我会投票赞成任何其他答案，即使它们很荒谬，只要它们是正确的并且允许我像我的那样即时流式传输。

于 2013-10-15T10:16:42.947 回答