google-bigquery - 如何在不使用文件的情况下以编程方式将数据加载到大查询表中？

Question

是否可以在 BigQuery 表中启动加载作业并将要加载的数据指定为字符串或流。我只能找到指向 Google Cloud Storage Files 的 API。

Answer 1

目前无法将单个记录直接流式传输到 BigQuery - 数据加载基于源文件的批处理操作。

可以直接将数据发送到 API 端点（通过 POST 请求），而无需先将其暂存在 Google Cloud Storage 中。但是，出于各种原因，我建议使用 Google Cloud 存储，包括更好地加载非常大的文件的可靠性，以及在我们的云中存档您的源数据。