google-bigquery - 加载包含数千列的表

Question

我有一个包含 5000 多个变量（列）的 CSV 数据文件。这可以加载到 BigQuery 表中吗？如果是这样，最好的选择是 Web UI 导入向导对话框“指定架构”步骤截断架构规范字符串。

Answer 1

只要您的行不太大，5000 列就不会有问题。什么太大了？BigQuery文档说，使用 JSON 时每行的最大大小为 20MB，而使用 CSV 时为 1 MB。

如果您有那么多列，我建议使用 bq.py 命令行客户端来进行加载。