2

我正在使用 Google Dataprep 启动 Dataflow 作业，但遇到了一些困难。

作为背景，我们使用了 Dataprep 几个星期，在我们开始遇到服务帐户授权问题之前它可以正常工作。当我们最终解决这个问题时，我们重新启动了我们曾经启动的作业，但它们以“数据流似乎被卡住了”而失败。

我们尝试了另一个非常简单的工作，但遇到了同样的错误。以下是完整的错误消息，作业在卡住一小时后失败：

数据流 -

(1ff58651b9d6bab2): Workflow failed. Causes: (1ff58651b9d6b915): The Dataflow appears to be stuck.

数据准备 -

The Dataflow job (ID: 2017-11-15_00_23_23-9997011066491247322) failed. Please 
contact Support and provide the Dataprep Job ID 20825 and the Dataflow Job ID.

似乎这种错误有多种来源，我不知道从哪里开始。提前致谢

4

2 回答 2

1

最好的方法是联系 Google 支持。该问题与 Dataflow 方面有关，需要 Google 对 Dataflow 后端进行更多研究

于 2017-11-15T15:38:31.703 回答
1

请检查您的项目的默认网络是否有任何更改。这是工人无法联系服务的常见原因，导致 1 小时超时。

更新：

进一步调查后，<project-number>-compute@developer.gserviceaccount.com“编辑”角色下缺少 Compute Engine 的服务帐户。这通常是自动创建的。可能这后来被错误地删除了。请参阅https://cloud.google.com/dataflow/security-and-permissions中的“计算引擎服务帐户”部分。

我们正在努力修复以改进对此类丢失权限的早期检测，以便更好地指出故障的根本原因。

这意味着您的其他 Dataflow 作业也同样失败。

于 2017-11-15T22:25:03.100 回答