问题标签 [amazon-glacier]

以下代码按预期工作并显示存储桶名称、文件名。例如

我需要下载所有这些文件并将它们传输到 Glacier 保险库。

以下代码将复制一个文件并将其放入名为“company_backup”的保管库中。

我需要做的是遍历从第一个代码块返回的文件。下载然后使用第二个代码段将它们传输到冰川。我还需要保存 archiveID 以供记录。

我有一个示例应用程序，它使用适用于 .NET 高级 API 的 AWS 开发工具包将大小为 26 MB 的文件上传到 Amazon Glacier。该代码在没有线程的情况下工作正常，但使用线程池它在下面的行失败

说错误消息：请求被中止：请求被取消。

堆栈跟踪：在 Amazon.Runtime.AmazonWebServiceClient.InvokeConfiguredRequest(AsyncResult asyncResult) 在 Amazon.Runtime.Amazon.Runtime.Amazon.Runtime.Amazon.Runtime.AmazonWebServiceClient.getRequestStreamCallback(IAsyncResult result) 在 Amazon.Runtime.AmazonWebServiceClient.handleHttpWebErrorResponse(AsyncResult asyncResult, WebException we) 在 Amazon.Runtime.AmazonWebServiceClient.InvokeHelper (AsyncResult asyncResult) 在 Amazon.Runtime.AmazonWebServiceClient.Invoke(AsyncResult asyncResult) 在 Amazon.Glacier.AmazonGlacierClient.invokeUploadMultipartPart(UploadMultipartPartRequest uploadMultipartPartRequest, AsyncCallback 回调, 对象状态, 布尔同步) 在 Amazon.Glacier.AmazonGlacierClient.UploadMultipartPart(UploadMultipartPartRequest uploadMultipartPartRequest)

注意：我正在多部分上传数据

请在以下链接中找到我的示例代码： www.page-monitor.com/Downloads/ArchiveUploadMPU.cs

是否有任何并行上传档案的示例代码？

谢谢和问候， 哈西娜

我将在几个月内从 EC2 抓取数百万个 URL，我正在考虑应该将这些数据存储在哪里。我的最终目标是分析它，但分析可能不会立即进行（即使我现在出于其他原因想抓取它），我可能希望最终将数据副本传输出去以存储在我拥有的本地设备上. 我估计数据将在 5TB 左右。

我的问题：我正在考虑为此使用 Glacier，我的想法是我将运行一个多线程爬虫，将爬取的页面存储在本地（在 EB 上），然后使用一个单独的线程来组合、压缩并将数据传送到 Glacier。我知道 Glacier 上的传输速度不一定很好，但由于这个过程没有在线元素，这似乎是可行的（尤其是因为我总是可以增加本地 EBS 卷的大小，以防我爬得比我更快存储到冰川）。

我的方法是否存在缺陷，或者任何人都可以提出一种更具成本效益、更可靠的方法来做到这一点？

谢谢！

我使用 AWS java SDK 为 Glacier 编写了一个备份/检索系统。它一直在工作，但程序现在无法检索，并且出现以下异常：

状态码：403，

AWS 服务：AmazonSNS，

AWS 请求 ID：2cf43ec9-a5f5-51bd-b6b0-74c7bf725bac，

AWS 错误代码：TopicLimitExceeded，

AWS 错误消息：无法完成请求：超出主题配额

它似乎来自 SNS，而不是 Glacier。使用控制台，我可以看到 SNS 主题 (12&)。尝试删除其中几个，但似乎不起作用。有人见过这个吗？

我正在开发一个使用 S3 存储重要文档的应用程序。这些文档需要每天、每周轮换一次，就像数据库备份的维护方式一样。

S3 是否支持一个功能，其中一个存储桶可以定期备份到多个存储桶中，或者可能在 Amazon Glacier 中。我想尽可能避免使用外部服务，并希望 S3 有一些机制来做到这一点，因为它是一个常见的用例。

任何帮助，将不胜感激。

我无法弄清楚为什么我不断从 AWS Glacier 获得无效的 Content-Range。在我看来，我的格式遵循 RFC 2616，但我不断收到错误消息。帮助？

这是代码：

目前我正在使用 Amazon Web Services (AWS) 并打开一个 S3 存储桶，将其内容保存到 EC2 中的一个目录中，然后从该目录中的所有内容创建一个 tar 文件并将该 tar 文件推送到 AWS Glacier。我尝试完成的最后一步是在 tar 文件成功上传到 AWS Glacier 时终止脚本（这需要 3-5 小时）。

目前，我对如何获取 archive_id 并询问保险库是否已成功加载 tar 文件感到困惑。

为了与 AWS Glacier 交互，我一直在使用 python boto 工具。我包含了将文件上传到冰川的 python\boto 代码，以及我尝试运行的一些快速测试，以确定代码是否已成功上传。到目前为止，所有测试都返回 false。

我排除了一些关于 status_code 的测试，这些测试也对所有内容都返回 false，当我尝试打印其中任何一个时，只有未完成和正在进行（如预期）打印出任何内容，但是当我尝试匹配 archive_id或retrieve_job 到我没有匹配的作业列表中返回的内容。另一个注意事项是这些在打印时保存的列表它们都是相同的（ Job(arn:aws:glacier:us-east-1:232412618534:vaults/glacier-poc) ）

作业完成后如何返回true？

我在 amazon aws docs 上找到了这个例子。

但我不明白我的文件去了哪里，或者如何将它发送到冰川服务器？

简介： 我有 VPS（使用 Debian）和一些托管在上面的网站。站点不是很大（总共约 10-20 GB），但我需要定期备份所有用户数据。

问题： 我正在寻找允许将所有这些内容备份到 Amazon Glacier 并满足一些条件的简单解决方案：

1. 易于配置（因为我是服务器管理的新手）
2. 亚马逊冰川支持
3. Debian 支持
4. 备份所有文件（完全 /home 目录）
5. 每周增量备份

我找到了一些解决方案，例如http://www.bacula.org/en/，但它们并不容易管理。

您能为我的案例提供建议或推荐用于此类备份的好工具吗？

我正在寻找一些建议或最佳实践来备份 S3 存储桶。
从 S3 备份数据的目的是防止数据丢失，原因如下：

1. S3 问题
2. 我不小心从 S3 中删除了这些数据的问题

经过一番调查，我看到以下选项：

1. 使用版本控制http://docs.aws.amazon.com/AmazonS3/latest/dev/Versioning.html
2. 使用 AWS 开发工具包从一个 S3 存储桶复制到另一个
3. 备份到 Amazon Glacier http://aws.amazon.com/en/glacier/
4. 备份到本身已备份的生产服务器

我应该选择什么选项以及仅在 S3 上存储数据的安全性如何？想听听你的意见。
一些有用的链接：

• 数据保护文档
• 数据保护常见问题