python - BigQueryInsertJobOperator 默认项目 ID 的配置

Question

我有一种情况，我的数据位于不同的 GCP 项目中，例如“data-pro”，而我的计算项目设置为不同的 GCP 项目，该项目可以访问“data-pro”的表。那么有没有办法指定查询必须使用的默认项目ID？我可以看到有一个默认的数据集、参数..但没有默认的 projectID。

所以我的查询如下：

select name ,id from employeedDB.employee .// 这个employeeDB在data-proc中

我的 BigQueryInsertJobOperator 配置如下：

BigQueryInsertJobOperator(dag=dag, task_id=name, gcp_conn_id=connection_id,--//connection_id over compute-proc configuration={ "query": { "query": "{% include '"+sqlFile+"' %}", " useLegacySql": False }, }, pool='bqJobPool')

Answer 1

我认为SQL语句可以改成：

select name ,id from `<project_id>:employeedDB.employee`

Answer 2

您应该为不同的项目定义不同的连接 ID（您可以通过每个任务中的参数或通过“default_args”功能设置它。