google-bigquery - BigQuery 是否具有用于不完整行的 CSV 加载的“填充记录”模式？

Question

我们一直在从我们的 Web 应用程序中收集结构化日志，该应用程序输出一个以竖线分隔的 CSV 文件。随着时间的推移，我们一直在在更新信息的末尾添加额外的信息。

例如，我们的旧数据有 14 列，而新数据有 15 或 16 列。

是否有可以在加载期间传入的标志（如“fillrecord”）以将旧数据上的缺失列视为空值？

Answer 1

您要求的功能现在可在 BigQuery 中使用。如果您正在运行 bq.py（您需要最新版本），您可以添加--allow_jagged_rows标志。如果您直接使用 api，在加载配置中将 'allowJaggedRows' 设置为 true 应该可以工作。