google-cloud-data-fusion - Google Cloud Data Fusion - Dataproc 配置突然停止，没有任何错误消息

Question

我设计了一个简单的管道来从 Cloud Storage 读取 CSV 文件并写入 BigQuery 表。运行管道时，操作突然停止，日志中没有任何错误消息。已经需要防火墙规则。请建议如何解决这个问题。

Answer 1

我的猜测是这可能与配额问题相关的数据处理集群。当管道在云数据融合中运行时，默认配置文件会启动一个具有 x 个工作节点的 dataproc 集群。有一段时间默认为 10。这可能是此故障的问题根源，但需要更多信息来确认是否是这种情况。

@Safiyur 几个问题，

1. 你能告诉我这个实例是什么时候启动的吗？
2. 为了验证，在运行管道之前，您可以自定义配置文件以具有 3 个工作节点。这是为了确保这是否是导致失败的原因（配置 -> 计算配置 -> 自定义）
3. 您是否还可以检查主服务日志以查看（Cloud Data Fusion -> System Admin）是否有任何与运行管道相关的错误？
4. 还可以提供您添加的防火墙规则吗？（它是否基于文档

笔记：

运行管道时，操作突然停止，日志中没有任何错误消息。

据此，我假设它是您正在谈论的管道日志。