问题标签 [airflow-connections]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
155 浏览

airflow - 如何在使用“气流连接添加”时正确编码“额外”参数

问题陈述

编辑 UI 时,我可以添加修改额外字段以包含{"no_host_key_check": true} 在此处输入图像描述

但是,当我尝试使用遵循连接文档格式的此命令从 CLI 添加此连接时

连接添加为{"extra": "'{\"no_host_key_check\": true}"} 在此处输入图像描述

如何修改我的airflow connections add命令以正确格式化此连接配置?

0 投票
1 回答
196 浏览

airflow - Airflow dag 找不到连接 ID

我正在管理一个为数据工程团队运行 Airflow 的 Google Cloud Composer 环境。我最近被要求对他们运行的其中一个因此错误而失败的 dag 进行故障排除:[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials

这项工作基本上是一个数据管道,它从各种来源读取数据并将数据存储到 GBQ。奇怪的是,他们为不同的项目运行了一个非常相似的 Dag,并且运行良好。

我已经为连接后面的服务帐户以及 Airflow 中的连接本身重新创建了 .json 凭据。我已经清理了代码,看看是否有任何隐藏的空格。

我对Airflow的了解有限,在我的研究中还没有发现任何类似的问题,有没有人遇到过这个问题?

0 投票
1 回答
328 浏览

python - Airflow DAG 中使用的连接未提供 _decrypted_ 密码或额外密码 - DAG 创作问题

我正在扩展 Airflow:2.2.0 图像并尝试在 DAG 中使用 Connection 来使用自定义 Hook 发出 GET 请求。但是,无论我尝试什么,并遵循找到的任何建议,DAG 似乎都没有获得密码和额外字段的解密版本。

DAG 的输出正确地显示了连接信息(逻辑上编辑为源代码在打印时指示),但尝试使用它或打印它不会解密密码。

我正在使用[var_name]以下内容编辑所有敏感/个人信息

我尝试直接在PythonOperatorDAG 中获取详细信息:

并从导入的自定义挂钩中

我在耗尽互联网后尝试、遵循和实施的事情:

  • 跨容器设置共享的 Fernet 密钥 运行后确认共享使用 对于所有容器。
  • 我已经通过 Web UI 和命令行创建了连接。无论哪种方式,Web UI 都很好地显示了所有详细信息的连接,命令connections get [conn_id]输出它与所有解密的秘密相同。

对此进行排序的任何帮助都会很棒。我只是无法确定问题 - 并且可能我错误地使用了 Airflow。有趣的是,我没有收到任何错误(如这里)。我想知道 DAG 执行者是否具有与 Connection 创建者相同的权利 - 但我找不到/看不到如何确认这种怀疑。

任何帮助深表感谢。感谢您提前阅读!

[编辑] 所以,我没有尝试test从 CLI 运行 DAG - 你知道什么 - 它有效!相反,我是从 UI 手动触发 DAG - 但因为我只有一个(管理员)用户 - 我并不怀疑它不会工作。所以我很清楚这是某种创作问题。有人对如何正确设置有任何指示吗?谢谢!

0 投票
0 回答
31 浏览

automation - 使用文件路径作为气流中的连接

在气流 uri 上设置文件路径连接后。您如何阅读气流 dag 脚本中的文件?在这种情况下,“variable.get”功能是否也足够?使用 Variable.get 时出现气流错误,未将连接作为变量读取

0 投票
0 回答
25 浏览

airflow - S3ToGCSOperator:从 S3 获取文件到 GCS 时出现连接错误

请原谅任何错误的问题,但我一直在尝试使用提供的运算符将数据从 S3 存储桶源到 GCS:S3ToGCSOperator。

以下是我得到的错误:


environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeError: 'Connection' object has no attribute 'upper'


我尝试了以下方法来创建连接并将 S3ToGCSOperator 作为参数传递:

  • 使用 Connection() 在同一个 DAG 文件中创建连接
  • 从airflow.models.connection导入连接导入连接
  • 创建环境变量并将 URI 作为值传递

但这些方法都没有奏效,有时它说无法找到凭据。

我想知道:

  • 我应该使用什么配置来在操作员中传递连接
  • 在哪里创建/声明连接

环境:

  • GCP
  • 云作曲家 2.1.4

希望尽快得到一些建议。

谢谢!