3

我在 GAE 托管 VM 和任务队列中遇到了一个非常特殊且未记录的问题。我知道托管 VM 服务处于测试阶段，所以这个问题可能不会永远相关，但它现在肯定让我很头疼。

该问题的主要症状是，在某些（我不完全了解）情况下，我看到以下错误/回溯：

  File "/home/vmagent/my_app/some_file.py", line 265, in some_ndb_tasklet
    res = yield some_task.add_async('some-task-queue-name')
  File "/home/vmagent/python_vm_runtime/google/appengine/ext/ndb/tasklets.py", line 472, in _on_rpc_completion
    result = rpc.get_result()
  File "/home/vmagent/python_vm_runtime/google/appengine/api/apiproxy_stub_map.py", line 613, in get_result
    return self.__get_result_hook(self)
  File "/home/vmagent/python_vm_runtime/google/appengine/api/taskqueue/taskqueue.py", line 1948, in ResultHook
    rpc.check_success()
  File "/home/vmagent/python_vm_runtime/google/appengine/api/apiproxy_stub_map.py", line 579, in check_success
    self.__rpc.CheckSuccess()
  File "/home/vmagent/python_vm_runtime/google/appengine/ext/vmruntime/vmstub.py", line 312, in _WaitImpl
    raise self._ErrorException(*_DEFAULT_EXCEPTION)
RPCFailedError: The remote RPC to the application server failed for call taskqueue.BulkAdd().

我已经通过我的本地 App Engine SDK 来跟踪它，我可以到达跟踪的最后一行，但google/appengine/ext/vmruntime/我的机器上根本不存在，所以我不知道vmstub.py. 通过查看本地代码，some_task.add_async('the-queue')正在启动一个 RPC 并等待它完成，但这个错误不是except apiproxy_errors.ApplicationError, e:taskqueue.py 的第 1949 行所期望的......

生成错误的代码如下所示：

@ndb.tasklet
def kickoff_tasks(batch_of_payloads):
    for task_payload in batch_of_payloads:
        # task_payload is a dict
        task = taskqueue.Task(
            url='/the/handler/url',
            params=payload)
        res = yield task.add_async('some-valid-task-queue-name')

其他值得注意的事情：

  • 此代码本身正在由另一个任务启动的任务处理程序中运行。
  • 在实现这种批处理之前，我首先看到了这个错误，并认为问题是因为我从任务处理程序中添加了太多任务。
  • 在某些情况下，我可以以 100 的批量大小成功运行此程序，但在其他情况下，它始终以 100 失败（取决于有效负载中的数据），有时以 50 的批量大小成功。
  • 任务有效负载本身包括成批的项目，并且被调整为足够小以适合任务。App Engine 宣传最大任务大小为 100KB，因此我现在将有效负载保持在 90,000 字节以下。进一步降低尺寸似乎没有任何帮助。
  • 我还尝试实现指数退避以在kickoff_tasks出现此错误时重试该方法，但似乎一旦引发错误，我就无法从同一个处理程序中添加任何其他任务（即我无法启动一个“从你离开的地方继续”的任务，我只需要让这个失败并重新启动）

所以，我的问题是，究竟是什么导致了这个错误？我怎样才能避免它，或者解决这个问题以便我正确处理它？

4

2 回答 2

2

这是一个正在解决的已知问题。实际上有两个问题 - RPC 失败本身和 SDK 对 RPCFailedError 异常的处理不足。

这里有一些关于这个问题的公开讨论。

于 2015-12-07T00:22:25.560 回答
0

如果您使用的是 App Engine Flexible 和python-compat-multicore图像，则会弹出一个与 App Engine 相关的新错误，该错误使用较新版本的请求库中断了 App Engine Flexible 和数据存储区之间的通信。您可以通过猴子修补appengine_config.py文件中的库来修复此错误。

将以下代码添加到appengine_config.py：

try:
    import appengine.ext.vmruntime.vmstub as vmstub
except ImportError:
    pass
else:
    if isinstance(vmstub.DEFAULT_TIMEOUT, (int, long)):
        # Newer requests libraries do not accept integers as header values. 
        # Be sure to convert the header value before sending. 
        # See Support Case ID 11235929.
        vmstub.DEFAULT_TIMEOUT = bytes(vmstub.DEFAULT_TIMEOUT)

请注意，如果您没有appengine_config.py文件，则可以在基础项目目录中创建它（无论您将app.yaml文件放在哪里）。此文件在 App Engine 启动期间运行..

于 2016-10-22T23:37:30.567 回答