问题标签 [airflow-connections]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
airflow - 如何在使用“气流连接添加”时正确编码“额外”参数
问题陈述
编辑 UI 时,我可以添加修改额外字段以包含{"no_host_key_check": true}
但是,当我尝试使用遵循连接文档格式的此命令从 CLI 添加此连接时
连接添加为{"extra": "'{\"no_host_key_check\": true}"}
如何修改我的airflow connections add
命令以正确格式化此连接配置?
airflow - Airflow dag 找不到连接 ID
我正在管理一个为数据工程团队运行 Airflow 的 Google Cloud Composer 环境。我最近被要求对他们运行的其中一个因此错误而失败的 dag 进行故障排除:[12:41:18,119] {credentials_utils.py:23} WARNING - [redacted-name] connection ID not available, falling back to Google default credentials
这项工作基本上是一个数据管道,它从各种来源读取数据并将数据存储到 GBQ。奇怪的是,他们为不同的项目运行了一个非常相似的 Dag,并且运行良好。
我已经为连接后面的服务帐户以及 Airflow 中的连接本身重新创建了 .json 凭据。我已经清理了代码,看看是否有任何隐藏的空格。
我对Airflow的了解有限,在我的研究中还没有发现任何类似的问题,有没有人遇到过这个问题?
python - Airflow DAG 中使用的连接未提供 _decrypted_ 密码或额外密码 - DAG 创作问题
我正在扩展 Airflow:2.2.0 图像并尝试在 DAG 中使用 Connection 来使用自定义 Hook 发出 GET 请求。但是,无论我尝试什么,并遵循找到的任何建议,DAG 似乎都没有获得密码和额外字段的解密版本。
DAG 的输出正确地显示了连接信息(逻辑上编辑为源代码在打印时指示),但尝试使用它或打印它不会解密密码。
我正在使用
[var_name]
以下内容编辑所有敏感/个人信息
我尝试直接在PythonOperator
DAG 中获取详细信息:
并从导入的自定义挂钩中
我在耗尽互联网后尝试、遵循和实施的事情:
- 跨容器设置共享的 Fernet 密钥 运行后确认共享使用 对于所有容器。
- 我已经通过 Web UI 和命令行创建了连接。无论哪种方式,Web UI 都很好地显示了所有详细信息的连接,命令
connections get [conn_id]
输出它与所有解密的秘密相同。
对此进行排序的任何帮助都会很棒。我只是无法确定问题 - 并且可能我错误地使用了 Airflow。有趣的是,我没有收到任何错误(如这里)。我想知道 DAG 执行者是否具有与 Connection 创建者相同的权利 - 但我找不到/看不到如何确认这种怀疑。
任何帮助深表感谢。感谢您提前阅读!
[编辑]
所以,我没有尝试test
从 CLI 运行 DAG - 你知道什么 - 它有效!相反,我是从 UI 手动触发 DAG - 但因为我只有一个(管理员)用户 - 我并不怀疑它不会工作。所以我很清楚这是某种创作问题。有人对如何正确设置有任何指示吗?谢谢!
automation - 使用文件路径作为气流中的连接
在气流 uri 上设置文件路径连接后。您如何阅读气流 dag 脚本中的文件?在这种情况下,“variable.get”功能是否也足够?使用 Variable.get 时出现气流错误,未将连接作为变量读取
airflow - S3ToGCSOperator:从 S3 获取文件到 GCS 时出现连接错误
请原谅任何错误的问题,但我一直在尝试使用提供的运算符将数据从 S3 存储桶源到 GCS:S3ToGCSOperator。
以下是我得到的错误:
environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeError: 'Connection' object has no attribute 'upper'
我尝试了以下方法来创建连接并将 S3ToGCSOperator 作为参数传递:
- 使用 Connection() 在同一个 DAG 文件中创建连接
- 从airflow.models.connection导入连接导入连接
- 创建环境变量并将 URI 作为值传递
但这些方法都没有奏效,有时它说无法找到凭据。
我想知道:
- 我应该使用什么配置来在操作员中传递连接
- 在哪里创建/声明连接
环境:
- GCP
- 云作曲家 2.1.4
希望尽快得到一些建议。
谢谢!