当从多个分片表查询超过 4 亿行时,我注意到 BigQuery 性能一直很慢(响应时间在 30 秒到 1 分钟之间)。
我在一天中的不同时间(下午、深夜和早上)运行了 3 次查询,通知响应时间一直很慢。该查询使用一个 group-by 字符串字段,该字段可能有很多唯一值,然后按另一个整数值的总和降序排序,最后只返回前 10 个。
我已经对相同的模式和相同的查询进行了性能计时测试,但将所有数据存储在一到五个表中,并注意到性能始终低于 10 秒。
查询 4 亿到 20 亿行分片在 7 到 90 个分片表中的数据集的预期响应时间是多少?在更多表中分片数据会导致查询性能变慢吗?仅供参考,每个分片表至少有 2400 万到 1.44 亿行。它们不是很小的桌子。