问题陈述

编辑 UI 时，我可以添加修改额外字段以包含{"no_host_key_check": true}

但是，当我尝试使用遵循连接文档格式的此命令从 CLI 添加此连接时

连接添加为{"extra": "'{\"no_host_key_check\": true}"}

如何修改我的airflow connections add命令以正确格式化此连接配置？

我正在管理一个为数据工程团队运行 Airflow 的 Google Cloud Composer 环境。我最近被要求对他们运行的其中一个因此错误而失败的 dag 进行故障排除：[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials

这项工作基本上是一个数据管道，它从各种来源读取数据并将数据存储到 GBQ。奇怪的是，他们为不同的项目运行了一个非常相似的 Dag，并且运行良好。

我已经为连接后面的服务帐户以及 Airflow 中的连接本身重新创建了 .json 凭据。我已经清理了代码，看看是否有任何隐藏的空格。

我对Airflow的了解有限，在我的研究中还没有发现任何类似的问题，有没有人遇到过这个问题？

我正在扩展 Airflow:2.2.0 图像并尝试在 DAG 中使用 Connection 来使用自定义 Hook 发出 GET 请求。但是，无论我尝试什么，并遵循找到的任何建议，DAG 似乎都没有获得密码和额外字段的解密版本。

DAG 的输出正确地显示了连接信息（逻辑上编辑为源代码在打印时指示），但尝试使用它或打印它不会解密密码。

我正在使用[var_name]以下内容编辑所有敏感/个人信息

我尝试直接在PythonOperatorDAG 中获取详细信息：

并从导入的自定义挂钩中

我在耗尽互联网后尝试、遵循和实施的事情：

• 跨容器设置共享的 Fernet 密钥 运行后确认共享使用 对于所有容器。
• 我已经通过 Web UI 和命令行创建了连接。无论哪种方式，Web UI 都很好地显示了所有详细信息的连接，命令connections get [conn_id]输出它与所有解密的秘密相同。

对此进行排序的任何帮助都会很棒。我只是无法确定问题 - 并且可能我错误地使用了 Airflow。有趣的是，我没有收到任何错误（如这里）。我想知道 DAG 执行者是否具有与 Connection 创建者相同的权利 - 但我找不到/看不到如何确认这种怀疑。

任何帮助深表感谢。感谢您提前阅读！

[编辑] 所以，我没有尝试test从 CLI 运行 DAG - 你知道什么 - 它有效！相反，我是从 UI 手动触发 DAG - 但因为我只有一个（管理员）用户 - 我并不怀疑它不会工作。所以我很清楚这是某种创作问题。有人对如何正确设置有任何指示吗？谢谢！

在气流 uri 上设置文件路径连接后。您如何阅读气流 dag 脚本中的文件？在这种情况下，“variable.get”功能是否也足够？使用 Variable.get 时出现气流错误，未将连接作为变量读取

请原谅任何错误的问题，但我一直在尝试使用提供的运算符将数据从 S3 存储桶源到 GCS：S3ToGCSOperator。

以下是我得到的错误：

environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeError: 'Connection' object has no attribute 'upper'

我尝试了以下方法来创建连接并将 S3ToGCSOperator 作为参数传递：

• 使用 Connection() 在同一个 DAG 文件中创建连接
• 从airflow.models.connection导入连接导入连接
• 创建环境变量并将 URI 作为值传递

但这些方法都没有奏效，有时它说无法找到凭据。

我想知道：

• 我应该使用什么配置来在操作员中传递连接
• 在哪里创建/声明连接

环境：

• GCP
• 云作曲家 2.1.4

希望尽快得到一些建议。

谢谢！