google-app-engine - 在进行许多（~10K）数据库更新时使用 GAE 获取“DeadlineExceededError”

Question

我在 GAE + Google Cloud SQL 上使用 Django 1.4 - 我的代码工作得非常好（在开发人员上使用本地 sqlite3 db for Django）但是当我尝试“刷新”数据库时出现服务器错误（500）。这涉及解析某些文件并创建约 10K 记录并保存它们（我正在使用 commit_on_success 批量保存它们）。

有什么建议吗？

Answer 1

60 秒后前端请求会引发此错误。（它增加了）

解决方案选项：

1. 使用任务队列（再次施加 10 分钟的时间限制，这实际上已经足够了）。
2. 将您的任务分成较小的批次。我们是怎么做的：我们在客户端将它分成更小的块并重复调用它们。

两种解决方案都可以正常工作，取决于您如何进行这些调用并希望得到结果。任务队列不会将结果返回给客户端。

Answer 2

对于耗时超过 30 秒的任务，您应该使用任务队列。

此外，当批处理操作太大时，数据库操作也可能超时。尝试使用较小的批次。

Answer 3

Google 应用引擎有一个请求允许的最长时间。如果请求花费的时间超过 30 秒，则会引发此错误。如果您有大量数据要上传，可以直接从管理控制台导入，或者将请求分解成更小的块，或者使用命令行python manage.py dbshell从您的计算机上传数据。