python-3.x - Bigquery Python API 不支持数组

Question

对 python Bigquery API 的支持表明数组是可能的，但是，当从 pandas 数据帧传递到 bigquery 时，会出现 pyarrow 结构问题。

唯一的方法似乎是删除列然后将 JSON Normalize 用于单独的表。

'''from google.cloud import bigquery
 project = 'lake'
 client = bigquery.Client(credentials=credentials, project=project)
 dataset_ref = client.dataset('XXX')
 table_ref = dataset_ref.table('RAW_XXX')
 job_config = bigquery.LoadJobConfig()
 job_config.autodetect = True
 job_config.write_disposition = 'WRITE_TRUNCATE'

 client.load_table_from_dataframe(appended_data, table_ref,job_config=job_config).result()'''

这是收到的错误。NotImplementedError: 结构

Answer 1

由于 parquet 序列化的工作方式，目前不支持此功能。

在客户端库的 GitHub 上创建了上传包含数组的 pandas DataFrame 的功能请求：

https://github.com/googleapis/google-cloud-python/issues/8544