4

我可以在一个谷歌应用引擎后端启动多少个并行后台线程？我没有找到任何有关并行允许线程数量的信息。我正在为 GAE 使用 Java。

我按照文档中的说明开始了一个新线程：[1]

return ThreadManager.createBackgroundThread(new Runnable() { ... });

如果我运行我的应用程序，一段时间后会引发以下异常（在创建新线程时）：

com.google.appengine.api.system.SystemFailureException: An unknown error occurred

这个 [2] 问题提到，如果 API 超出配额，则会出现此异常。所以我可以创建线程，但在一定时间后出现异常。这就是为什么我认为后端有线程限制。

[1] https://developers.google.com/appengine/docs/java/backends/overview#background_threads

[2] http://code.google.com/p/googleappengine/issues/detail?id=7398

4

3 回答 3

6

为了记录，App Engine 区分了正常线程和后台线程，它们不能比启动它们的 HTTP 请求更长寿。

至少对于 Python来说，看起来生产（Python 2.7）运行时和 dev_appserver 都对每个 backend 施加了 10 个后台线程的固定限制，独立于其他设置，例如max_concurrent_requests在 backends.yaml中。

我与其他一些 App Engine 团队的老成员交谈过，虽然他们不是 100% 确定，但他们说这听起来是对的。我已经通过下面的测试后端配置和代码凭经验证实了这一点。我还尝试从一个单独的 HTTP 请求和另一个后台线程启动更多后台线程。没运气; 相同的总限制为 10 总。

这是 SDK 在 dev_appserver（特别是 SDK 1.8.8 中的 devappserver2）中为 Python 设置限制的地方： instance.py:449， python_runtime.py:61。看起来 Go 和 Java 完全禁用了后台线程： go_runtime.py:99， java_runtime.py:61。

一个有趣的怪癖：在后台线程中，看起来您可以启动任意数量的正常线程，至少在达到内存限制之前是这样。他们没有打开任何 HTTP 请求，而且他们似乎也没有在截止日期前被切断。我目前正在这样做以解决后台线程限制。

我希望这被记录在案！会为我节省很多时间。

后端.yaml

- name: test
  instances: 1
  start: threadtest.application

测试.py

def test():
  for i in range(100):
    logging.info('Starting #%d', i)
    background_thread.start_new_background_thread(time.sleep, [20])

class Start(webapp2.RequestHandler):
  def get(self):
    background_thread.start_new_background_thread(test, [])

application = webapp2.WSGIApplication([('/_ah/start', Start)], debug=True)
于 2014-01-03T04:46:27.177 回答
2

我的问题是后端的 API 限制。我可以启动任意数量的线程，但是当我达到 API 限制（100 个同时调用）时，无法创建新线程。配额和限制在他们的文档中描述。

我减少了我的 API 调用（数据库、谷歌云存储）以加快应用程序的性能并且异常消失了 :)。

于 2013-04-09T11:47:02.533 回答
1

鉴于例外情况，我假设您使用的是 Java。

你是如何创建线程的？您应该使用 ThreadManager（而不是调用不支持的“new Thread()”）。

后台线程是指后端中的代码吗？您需要在后端任务中启动后台线程。

作为记录，每个请求限制为 50 个线程。

在此处阅读线程。

于 2012-12-18T22:32:59.953 回答