ssh - 多流 SCP 从 EC2 传输大量小文件

Question

我正在使用scp从我的 EC2 实例下载数百万个小文件 (100 - 1000 kb) 文件。scp似乎一次传输一个文件，并没有完全利用我的 1 gbps 连接。

有没有更有效的方法来下载文件？由于各种技术原因，实现和下载不是一种选择。

score 2 · Accepted Answer

2

看看rsync。它也可以通过 ssh 工作。

于 2013-11-04T17:48:22.123 回答

score 1 · Accepted Answer

如果您仍然可以使用tar，但无法在远程主机上创建 tarball，您可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用v选项tar或管道查看器来获取有关传输的反馈。

如果上述方法也不是一个选项，请尝试并行运行几个（十几个）scp以减少由许多小文件引起的开销的影响。

（还要确保文件系统不是瓶颈。）

2 回答 2