0

我希望这里有人可以提供帮助。我一直在疯狂地搜索这个错误,但没有找到任何东西。

我有一个在本地执行时可以完美运行的管道,但在 GCP 上执行时会失败。以下是我收到的错误消息。

工作流失败。原因:S03:Write transform fn/WriteMetadata/ResolveBeamFutures/CreateSingleton/Read+Write transform fn/WriteMetadata/ResolveBeamFutures/ResolveFutures/Do+Write transform fn/WriteMetadata/WriteMetadata failed., 一个工作项尝试了 4 次都没有成功。每次工人最终失去与服务的联系。工作项已尝试:

回溯(最后一次调用):文件“preprocess.py”,第 491 行,在 main() 文件“preprocess.py”,第 487 行,在 main transform_data(args,pipeline_options,runner) 文件“preprocess.py”,行451,在 transform_data eval_data |= 'Identity eval' >> beam.ParDo(Identity()) 文件“/Library/Python/2.7/site-packages/apache_beam/pipeline.py”,第 335 行,退出 self.run().wait_until_finish() 文件“/Library/Python/2.7/site-packages/apache_beam/runners/dataflow/dataflow_runner.py”,第 897 行,在 wait_until_finish (self.state, getattr(self._runner, ' last_error_msg',无)),自我)apache_beam.runners.dataflow.dataflow_runner.DataflowRuntimeException:数据流管道失败。状态:失败,错误:回溯(最近一次调用最后):文件“/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py”,第 582 行,在 do_work work_executor.execute() 文件中“ /usr/local/lib/python2.7/dist-packages/dataflow_worker/executor.py”,第 166 行,在执行 op.start() 文件“apache_beam/runners/worker/operations.py”,第 294 行,在 apache_beam .runners.worker.operations.DoOperation.start (apache_beam/runners/worker/operations.c:new (cls, *args) TypeError: new () 需要 4 个参数(1 个给定)

有任何想法吗??

谢谢,

佩德罗

4

1 回答 1

0

如果管道在本地工作但在 GCP 上失败,则您可能遇到版本不匹配的问题。

您在本地和 GCP 上运行什么 TF、tf.Transform、beam 版本?

于 2018-03-29T15:24:20.083 回答