azure - 使用 AzCopy 复制大量小 ​​blob

Question

我正在尝试做一个增量副本 ca. 从一个存储帐户到另一个存储帐户的 500.000 个 Blob。

但是，似乎如果我不指定 /Pattern: 参数，AzCopy 只会永远挂起，永远不会完成..（我实际上在大约 15 分钟后停止了该过程）。

AzCopy 无法处理半百万（可能高达 500 万）的 blob 是否太多，或者我在这里遗漏了什么？

我正在使用的命令如下所示：

AzCopy /Source:<src>/documents /SourceKey:<srcKey> /Dest:<dest>/documents /DestKey:<deskKey> /S /XO /Y

添加 /pattern 参数可以解决它，但我想要容器中所有 blob 的完整副本。

我必须补充一点，它已经设法复制了所有 blob，当它必须“弄清楚”自上次完整备份以来添加了哪些 blob 时，后续运行失败了。

Answer 1

您使用的是哪个版本的 AzCopy？我猜这个问题已经在很多版本中得到了修复......在几个版本之前，AzCopy 需要在开始传输之前列出所有要下载的 blob；目前 AzCopy 可以同时进行列表和传输。

如需下载最新版本的 AzCopy 并查找更多信息，请参阅http://aka.ms/azcopy。