我有一个项目经常需要将数百万个微小（1 - 3 KB）的图像文件上传到谷歌云存储。推荐的方法/库是什么？我目前正在使用gsutil但想知道是否有更好的库。我最近遇到了google-cloud，但它似乎更慢（使用blob.upload_from_filename()）。
我希望能够通过 Python（Windows）来做到这一点，但如果它们提供显着的性能优势，我愿意接受其他选项。
有什么建议么？
问问题
1323 次
1 回答
1
gsutil 已经进行了很多优化，我怀疑使用原始库会更快而不需要相当大的努力（尽管它可能更适合传输大文件而不是大量文件）。
尝试将 -m 标志添加到您的 cp 命令以多线程上传。 https://cloud.google.com/storage/docs/gsutil/commands/cp
在那之后，您可能唯一能做的就是跨多台机器并行化（每台机器复制文件的一个子集）。
于 2017-07-21T19:40:48.917 回答