google-bigquery - 将 CSV 上传到 BigQuery 失败

Question

我已经使用 bigquery 上传系统超过 3 个月了，我每隔一小时将数据推送到 bigquery，它一直运行良好。但是从昨天开始，我所有的上传都失败了。bigquery 控制台上的错误显示“列太少：预期有 11 列，但有 9 列”，第九个字段有一个换行符，它在双引号内。这在过去 3 个月里一直有效，从昨天开始就失败了。有什么帮助吗？

Answer 1

昨天我们开始强制执行不允许引用的换行符，除非allowQuotedNewlines标志被通过。如果您使用的是 bq 工具，则可以添加 --allow_quoted_newlines 标志。如果您使用的是 java，您可以在此处进行设置。该标志记录在此处。

默认情况下不允许引用换行符可以让我们更有效地导入 csv 文件，因为我们可以将它们分成几部分并并行导入。这转化为更快的导入，并允许我们扩展到更大的导入。