.net - 通过 Windows 服务在 BigQuery 表中插入记录

Question

我创建了一个 Windows 服务，它使用服务帐户授权与 Google BigQuery API 完美通信。出于测试目的，我能够从 BigQuery 表中获取数据，以检查我的 Windows 服务和 BigQuery API 之间的通信。但是这个服务基本上会从 MSSQL 服务器获取记录，然后在 BigQuery 中的目标表中插入或追加一条记录。我不想使用 CSV 或 JSON 文件作为数据源。有什么办法吗？

Answer 1

不可以，您必须使用 CSV 或 JSON 作为源格式才能将数据加载到 BigQuery。

BigQuery 目前支持批量提取模型，而不是记录级模型。每日导入配额为每张表 1,000 个导入作业，整个项目总计 10,000 个导入作业。

我建议您每隔一段时间（可能每小时）从 MSSQL 服务器导出数据，将输出缓存在 CSV 或 JSON 文件中，然后在 MSSQL 导出步骤完成后启动 BigQuery 摄取作业。