当我尝试通过非常简单的go s3 uploader将 100Gb 的小文件(PNG 图像)上传到 S3 存储桶时,我遇到了高 CPU 和 I/O 使用率。
有什么方法可以限制带宽(即通过 aws-sdk-go 配置)或其他方式来使上传过程不那么密集或有效:) 以减少 CPU 和 I/O 的使用。
我已经尝试过不错的 CPU 和 IO,但实际上并没有帮助。
当我尝试通过非常简单的go s3 uploader将 100Gb 的小文件(PNG 图像)上传到 S3 存储桶时,我遇到了高 CPU 和 I/O 使用率。
有什么方法可以限制带宽(即通过 aws-sdk-go 配置)或其他方式来使上传过程不那么密集或有效:) 以减少 CPU 和 I/O 的使用。
我已经尝试过不错的 CPU 和 IO,但实际上并没有帮助。
您是否尝试过 S3Manager,https: //docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/ ?从文档:
包 s3manager 提供了同时从 S3 上传和下载对象的实用程序。在处理大型物体时很有帮助。