我对 Google Cloud Platform 非常陌生,我正在尝试从csv.gz
存储在 GCP 存储桶中的约 60,000 个文件中创建一个 bigquery 表。
为此,我打开了 Cloud Shell,我正在尝试以下操作:
$ bq --location=US mk my_data
$ bq --location=US \
load --null_marker='' \
--source_format=CSV --autodetect \
my_data.my_table gs://my_bucket/*.csv.gz
这会引发以下错误:
BigQuery error in load operation: Error processing job 'my_job:bqjob_r3eede45779dc9a51_0000017529110a63_1':
Error while reading data, error message:
FAILED_PRECONDITION: Invalid gzip file: bytes are missing
我不知道在加载文件时如何找到可能有问题的文件。我检查了一些文件,它们都是有效.gz
文件,我可以在解压后用任何 csv 阅读器打开,但我不知道如何检查所有文件以找到有问题的文件。
提前感谢您对此的任何帮助!