2

我将我的网站部署到 Google App Engine（使用 Golang 和具有 1000 条记录的数据存储）。启用计费并建立每日预算。配额详情页面显示所有内容都在配额之下。我正在执行 Urlfetch 以获取用于在数据存储中构建数据实体的 tsv 文件。

两个问题：

  1. 仅创建了 778 个实体 - 日志表明它是一个长时间运行的进程，但它似乎提前终止而没有错误消息。医生说这是正常的
  2. 第二步涉及从数据存储中的实体创建一个 json 文件。这个过程会导致“恐慌：过度配额”，因为我想这个过程花费的时间太长了。

我该如何进行？我应该将 tsv 数据文件分成几个较小的文件吗？我可以要求“更多时间”，这样我就不会超过安全配额吗？

需要注意的是，开发人员控制台的数据存储部分显示了一些问题：虽然我的应用程序可以访问 778 个数据存储实体，但控制台只报告了 484 个此类实体，总共只有 704 个各种实体（实际上是 933 )

我已经在这方面工作了一段时间，想知道系统是否有问题，或者我可以做些什么来正确设置我的数据实体。我也希望我能找到更多关于安全配额的信息……并让远程 API 正常工作！谢谢！

4

1 回答 1

0

这实际上取决于您在 appengine 平台中对这两个用例进行此处理的位置。

例如，如果您正在为要在前端实例中处理的文件执行 urlfetch，那么您有 60 秒的时间来完成所有这些处理。App Engine 要求前端实例在 60 秒内响应每个请求。

我假设这是您正在做的事情，因为您的请求正在被终止。要绕过这个时间限制，您应该将这种类型的批处理数据处理移动到任务队列中，每个任务都需要在 10 分钟内完成。

你的阅读也是如此。您需要查看如何从数据存储中读取数据，或者您需要使用延迟任务或管道对其进行批处理。

你有一个片段可以分享你如何编写你的 json 吗？

于 2015-03-29T15:22:20.783 回答