google-app-engine - GAE 上大量 URL 获取请求的经济高效架构

Question

在 GAE 上处理大量并发 URL 获取请求的最具成本效益的架构是什么？（Python）

我说的是数十万并发 API 请求。

使用任务队列和同步 URL Fetch 请求来做这件事是行不通的，因为等待响应的延迟太高，并且会启动很多实例。

使用异步 URL 获取我有一个问题，即内存太小，无法处理一个实例上的响应，因此它崩溃了。

在 appengine 上，通用的成本效益架构如何？非常感谢任何建议！

Answer 1

我也有同样的想法。我启动了一个后端并通过异步写入和禁用上下文缓存和内存缓存来改进我的内存。此外，后端可能是您在数千次提取等操作中所需要的，因为您可以管理它可以拥有多少内存，并且您不受任务队列的 10 分钟限制的影响。

我不知道它是否有帮助，但我的问题在这里描述并解决了。