我有一个 GCS 存储桶，每天可以获取大约 10k 到 20k 个新文件。
我想设置 BQ 数据传输以每天将新文件加载到我的表中。
鉴于它运行在配额上的大量文件并给我这个错误：Error status: Transfer Run limits exceeded. Max size: 15.00 TB. Max file count: 10000. Found: size = 24448691 B (0.00 TB) ; file count = 19844.
有没有办法避免这些配额？
问问题
431 次
1 回答
0
根据 GCP 文档，Bigquery 传输作业已包含在加载作业限制的预定义配额中。
根据提供的信息，作业配置限制中源 URI 的最大数量似乎是此报告的 Bigquery 传输问题的最可能根本原因，因为相关记录的限制（即 10k）和当前文件计数指标等于19844.
除了@Kevin Quinzel 在此 Stack线程中发布的答案外，等待任何解决功能请求的努力，我注意到供应商提供了一个分片白名单功能，允许处理超过 10k 个文件，假设Biqguery 传输服务可以自动启动多个 BQ 导入作业，以便跨多个 BQ 加载作业分片文件，从而减轻 10k 文件限制。
为了为特定 GCP 项目启用此功能，您可能需要向供应商提交单独的支持案例。
于 2020-06-30T10:49:52.857 回答