0

我正在管理一个为数据工程团队运行 Airflow 的 Google Cloud Composer 环境。我最近被要求对他们运行的其中一个因此错误而失败的 dag 进行故障排除:[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials

这项工作基本上是一个数据管道,它从各种来源读取数据并将数据存储到 GBQ。奇怪的是,他们为不同的项目运行了一个非常相似的 Dag,并且运行良好。

我已经为连接后面的服务帐户以及 Airflow 中的连接本身重新创建了 .json 凭据。我已经清理了代码,看看是否有任何隐藏的空格。

我对Airflow的了解有限,在我的研究中还没有发现任何类似的问题,有没有人遇到过这个问题?

4

1 回答 1

0

因此,DE 团队回复我说这实际上是一个部署问题,其中涉及服务帐户身份验证的内部模块正在另一个在阶段环境中运行的 DAG 中使用,从而无法继续从连接 ID 获取凭据。

于 2021-10-19T18:11:31.660 回答