请原谅任何错误的问题,但我一直在尝试使用提供的运算符将数据从 S3 存储桶源到 GCS:S3ToGCSOperator。
以下是我得到的错误:
environment_uri = os.environ.get(CONN_ENV_PREFIX + conn_id.upper()) AttributeError: 'Connection' object has no attribute 'upper'
我尝试了以下方法来创建连接并将 S3ToGCSOperator 作为参数传递:
- 使用 Connection() 在同一个 DAG 文件中创建连接
- 从airflow.models.connection导入连接导入连接
- 创建环境变量并将 URI 作为值传递
但这些方法都没有奏效,有时它说无法找到凭据。
我想知道:
- 我应该使用什么配置来在操作员中传递连接
- 在哪里创建/声明连接
环境:
- GCP
- 云作曲家 2.1.4
希望尽快得到一些建议。
谢谢!