python - 使用python将大文件下载到谷歌云存储

Question

我正在编写一个 python GAE 程序。我想做的是使用 HTTP 协议下载文件并将其写入谷歌云存储。

但是如果我请求的文件很大（大于 1Mb），

url = urllib2.urlopen(link)

不会工作。

它总是抛出一个 ResponseTooLargeError

这篇文章解释了为什么显示此错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是它并没有解决我的问题，即将一个大文件下载到云存储中。

谁能帮我？谢谢！

Answer 1

URL Fetch的每个响应的限制为32MB。请参阅 Python GAE SDK 的配额和限制部分。使用 App Engine，您将无法在一个请求中从大于该大小的 URL 复制任何内容。现在，您可以使用 GCS 或 Blobstore 将更大的内容直接从本地文件存储上传到 GAE，但不能从 URL 复制。