web-services - 在 Amazon S3 上增长文件

Question

是否可以在亚马逊 s3 上拥有不断增长的文件？

也就是说，我可以上传一个我在上传开始时不知道最终大小的文件。这样我就可以开始以指定的偏移量将更多数据写入文件。

例如一次写入 1000 字节，然后在下一次调用中继续写入偏移量为 1001 的文件，这样下一个写入的字节就是文件的 1001 字节。

Answer 1

Amazon S3确实允许您通过使用 Multipart Upload API 上传对象来做到这一点：

分段上传允许您将单个对象作为一组部分上传。每个部分都是对象数据的连续部分。您可以按任意顺序独立上传这些对象部分。如果任何部分传输失败，您可以重新传输该部分而不影响其他部分。上传对象的所有部分后，Amazon S3 会组装这些部分并创建对象。[...]

列出的优势之一正是针对您的用例，即在您知道最终对象大小之前开始上传- 您可以在创建对象时上传对象。

使用 REST API 进行分段上传可以使用此功能，所有AWS 开发工具包以及像boto（为 Amazon Web Services 提供接口的 Python 包）这样的第 3 方库也提供基于此 API 的分段上传支持。