1

当从多个分片表查询超过 4 亿行时,我注意到 BigQuery 性能一直很慢(响应时间在 30 秒到 1 分钟之间)。

我在一天中的不同时间(下午、深夜和早上)运行了 3 次查询,通知响应时间一直很慢。该查询使用一个 group-by 字符串字段,该字段可能有很多唯一值,然后按另一个整数值的总和降序排序,最后只返回前 10 个。

我已经对相同的模式和相同的查询进行了性能计时测试,但将所有数据存储在一到五个表中,并注意到性能始终低于 10 秒。

查询 4 ​​亿到 20 亿行分片在 7 到 90 个分片表中的数据集的预期响应时间是多少?在更多表中分片数据会导致查询性能变慢吗?仅供参考,每个分片表至少有 2400 万到 1.44 亿行。它们不是很小的桌子。

4

1 回答 1

0

预期的查询性能在很大程度上取决于您的查询。您在查询中使用 GROUP EACH BY 吗?

除非表的数量非常大(数百或数千),否则您的数据被分片到的表的数量不应该对查询性能产生太大影响。如果您看到性能差异,则可能有问题。您是否介意共享您正在运行的查询或快速查询与慢速查询的项目和作业 ID?

于 2013-05-25T00:10:40.533 回答