5

刚刚完成一项大型 Appengine mapreduce 任务，我的许多分片都在终点线被卡住了。这是设置：

    filenames = yield mapreduce_pipeline.MapperPipeline(
            'example mapper name',
            'main.MyMapper',
            input_reader_spec='mapreduce.input_readers.DatastoreInputReader',
            output_writer_spec='mapreduce.output_writers.FileOutputWriter',
            params={
                'input_reader':{
                    'entity_kind':'models.MyModel'
                },
                'output_writer':{
                    'filesystem':'gs',
                    'mime_type':'text/csv',
                    'gs_bucket_name':'myBucket',
                    'output_sharding':'input'
                }
            },
            shards=DUMP_SHARDS
            )

我正在并行运行其中的 3 个，每个都有 16 个分片。一个映射器顺利完成，另外两个映射器在他们的 14 个和 9 个分片上都取得了成功。

剩下的碎片全部被石墙完全封印，回归UnknownError: ApplicationError: 7。（本文末尾的完整堆栈跟踪。）

请注意，映射器正在尝试写入Google Cloud Storage。错误发生在执行此写入的位中。

在寻找了一段时间后，我发现在google.appengine.runtime.apiproxy（这似乎是有问题的代理）中，错误 7 是OTHER_ERROR.

我已经重试了这些最终任务（来自任务队列）大约 3 个小时，自从这些错误开始以来没有一个成功；无论发生什么，它都完全卡住了。我也尝试停止所有正在运行的实例，以防这是一些奇怪的本地状态，但没有改变......

这是完整的堆栈跟踪：

I 2012-12-13 15:40:23.909
Processing done for shard 14 of job '1582444192075C233F6AA'
E 2012-12-13 15:40:23.969
ApplicationError: 7 
Traceback (most recent call last):
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1511, in __call__
    rv = self.handle_exception(request, response, e)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1505, in __call__
    rv = self.router.dispatch(request, response)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher
    return route.handler_adapter(request, response)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1077, in __call__
    return handler.dispatch()
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 547, in dispatch
    return self.handle_exception(e, self.app.debug)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 545, in dispatch
    return method(*args, **kwargs)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/base_handler.py", line 65, in post
    self.handle()
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/handlers.py", line 231, in handle
    tstate.output_writer.finalize(ctx, shard_state.shard_number)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/output_writers.py", line 631, in finalize
    files.finalize(self._filename)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 568, in finalize
    f.close(finalize=True)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 291, in close
    self._make_rpc_call_with_retry('Close', request, response)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 427, in _make_rpc_call_with_retry
    _make_call(method, request, response)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 252, in _make_call
    _raise_app_error(e)
  File "/base/data/home/apps/myserver/myinstance.363844686987482417/mapreduce/lib/files/file.py", line 186, in _raise_app_error
    raise UnknownError(e)
UnknownError: ApplicationError: 7
4

1 回答 1

2

我刚刚有一个类似的问题。我认为这是专门写给 Google Cloud Storage 问题的。

我在这里获得了一些见解：Google App Engine 问题：8775

摘要（TLDR）：

  • 可能是一次性网络问题。
  • 可能是计费问题。
  • 结果：如果它没有消失并且修复账单不起作用，请联系 Google 支持。
于 2013-04-03T14:12:26.997 回答