3

我的客户有一项存储大量文件的服务,例如视频或声音文件。该服务运行良好,但是看起来长时间的文件存储是一个很大的挑战,我们希望使用 AWS 来存储这些文件。

问题如下,客户想要使用 AWS kinesis 将每个文件从我们的服务器传输到 AWS。这可能吗?我们可以使用该服务传输文件吗?有很多视频文件,而且我们每天都收到越来越多的视频文件。而且每个文件都比较大。

我们还想保存文件的一些细节,可能保存到 dynamoDB 中,我们可以使用 Lambda 函数。

最重要的是,我们需要一个可靠的数据传输选项。

4

3 回答 3

5

KInesis 不是上传文件的正确工具,除非它们都非常小——而且大多数视频几乎肯定会超过 1MB 的记录大小限制:

一条记录中的数据块(Base64 编码之前的数据有效负载)的最大大小为 1 兆字节 (MB)。

https://aws.amazon.com/kinesis/streams/faqs/

于 2017-04-01T08:43:05.677 回答
2

使用其中一个 SDK 将 S3 与多部分上传一起使用。您将 90 天以上无法访问的对象可以移动到 Glacier。

分段上传允许您将单个对象作为一组部分上传。每个部分都是对象数据的连续部分。您可以按任意顺序独立上传这些对象部分。如果任何部分传输失败,您可以重新传输该部分而不影响其他部分。上传对象的所有部分后,Amazon S3 会组装这些部分并创建对象。一般来说,当您的对象大小达到 100 MB 时,您应该考虑使用分段上传,而不是在单个操作中上传对象。

亚马逊网络服务。Amazon Simple Storage Service (S3) 开发人员指南(Kindle 位置 4302-4306)。亚马逊网络服务公司。Kindle 版。

要进一步优化文件上传速度,请使用传输加速:

Amazon S3 Transfer Acceleration 可在您的客户端和 S3 存储桶之间实现快速、轻松且安全的长距离文件传输。Transfer Acceleration 利用 Amazon CloudFront 的全球分布式边缘站点。当数据到达边缘位置时,数据会通过优化的网络路径路由到 Amazon S3。

亚马逊网络服务。Amazon Simple Storage Service (S3) 开发人员指南(Kindle 位置 2060-2062)。亚马逊网络服务公司。Kindle 版。

于 2017-04-03T20:22:42.157 回答
1

Kinesis 推出了一项新服务“Kinesis Video Streams” - https://aws.amazon.com/kinesis/video-streams/,这可能有助于移动大量数据。

于 2018-05-21T18:13:23.663 回答