google-bigquery - 如何在 AWS Glue 到 BigQuery 连接器中指定项目 ID？

Question

我正在尝试按照https://aws.amazon.com/blogs/big-data/migrating-data-from-google-bigquery-to-amazon-s3-using-中的教程使用 AWS Glue 连接器连接 BigQuery aws-glue-custom-connectors/但在完成所有步骤后，我得到：

: java.lang.IllegalArgumentException: A project ID is required for this service but could not be determined from the builder or the environment.  Please set a project ID using the builder.

Python 异常表明：

Traceback (most recent call last):
  File "/tmp/ETHBlockchainExport.py", line 20, in <module>
    DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = "marketplace.spark", connection_options = 
{
    "parentProject": "MYGOOGLE_PROJECT_ID",
    "connectionName": "BigQuery",
    "table": "MYPROJECT.DATASET.TABLE"
}

所以一切似乎都提供了，但仍然抱怨项目 ID。如何将该信息提供给连接器？

Answer 1

您在创建 Glue 作业时在数据源中指定connector option键值对。

从您的日志看来，您似乎也包含project id在表字段中，应该是dataset.table

另一种可能性是您没有在环境变量中指定项目 ID 和表值等的值（这似乎更有可能基于显示的错误）

例子

参考