python - 如何在 Google App Engine 上 fetch() 超过 1MB？

Question

Google App Engine 将urlfetch.fetch()响应限制为1MB。是否有任何解决方法（可能切换到付费版本）？

我正在使用 Python，如果可以提供一个很棒的示例。

Answer 1

使用全新的SDK 1.4.0，您可以下载 32MByte；请记住，您仍然有 10 秒的截止日期限制 ;-) 。请求处理程序的截止时间最长为 60 秒，任务队列和 cron 作业处理程序的截止时间最长为 10 分钟。

URLFetch 允许的响应大小已增加，最大为 32 MB。请求大小仍限制为 1 MB。

Answer 2

不，每次 URL 提取不能超过 1MB（即使您启用了计费）。但是，您也许可以使用Range标头获取目标 URL 的一部分，然后将这些部分组合起来。这甚至可能更快，因为您可以同时获取每个 1MB 块（使用异步获取）。