0

我正在尝试使用 Duplicity 将大型文件系统（~800 GB）从 Ubuntu 16.04 备份到 Amazon S3。看起来它备份了大部分文件系统，但一直卡在最后。

我现在已经多次运行此命令，但它一直在同一个地方失败/中止（备份大约 8 小时）：

$ duplicity --no-encryption --s3-use-ia --archive-dir /var/abc/tmp --tempdir /var/abc/tmp --exclude /var/abc/tmp /var/abc s3://s3-us-west-2.amazonaws.com/mybucket

Local and Remote metadata are synchronized, no sync needed.
Warning, found incomplete backup sets, probably left from aborted session
Last full backup left a partial set, restarting.
Last full backup date: Tue Jul 25 11:13:45 2017
RESTART: Volumes 32085 to 32085 failed to upload before termination.
         Restarting backup at volume 32085.
Restarting after volume 32084, file backups/resourcespace.20170730.sql.gz, block 399
Attempt 1 failed. error: [Errno 104] Connection reset by peer
Attempt 2 failed. error: [Errno 104] Connection reset by peer
Attempt 3 failed. error: [Errno 104] Connection reset by peer
Attempt 4 failed. error: [Errno 104] Connection reset by peer
Giving up after 5 attempts. error: [Errno 104] Connection reset by peer

在我第一次尝试之后，我尝试将 duplicity 升级到最新的 PPA，现在正在运行 0.7.13.1。再试一次——同样的失败。

接下来，我将 boto 从 2.38.0 升级到 2.48.0（通过 PIP），但仍然看到同样的故障。

我发现一些较早的帖子表明这曾经是由于亚马逊方面的某种 5GB 限制而发生的，但是这些帖子还声称它应该在 Duplicity 的 0.7 系列（我正在运行）中修复。

任何有关如何进行进一步故障排除的建议将不胜感激，谢谢！

4

2 回答 2

0

想在这里发布一个跟进。我确实设法最终使这项工作正常进行，尽管确切的答案有点不清楚。

最初我有一个部分/中止的备份，我升级了 duplicity，然后升级了 boto，然后尝试恢复中止的备份，看看我是否可以完成它。

放弃之后，我做了以下事情：

  1. 删除原始备份以使用所有更新的代码重新开始。
  2. 在 Duplicity 中添加了 --volsize 1024 以减少正在记录的卷数。
  3. 添加了 --s3-use-multiprocessing 以尝试使事情进展得更快。

这些步骤中的一个或多个解决了 Errno 104 问题，现在我的备份完成了。当我运行新备份时，临时目录中的情况看起来有所不同，所以我非常怀疑从旧代码恢复旧备份可能会导致问题。但它很可能与 volsize 相关（从 20MB 变为 1024MB）。

我的签名文件仍然很大，为 7.7GB，但不再引起问题。

使用干净的备份，现在一切似乎都运行良好。

于 2017-08-07T18:07:49.040 回答
0

我遇到了同样的问题。事实证明我的 AWS 访问和密钥是错误的。更新它们解决了这个问题。

也许这不是你的情况，但它可以帮助其他受影响的人。

于 2017-08-09T10:48:31.710 回答