我正在对大约 84GB 的日志数据的数据集运行一个简单的 bigQuery。
查询大约需要 110 秒才能完成。对于这种大小的数据集,这是否正常?
我正在对大约 84GB 的日志数据的数据集运行一个简单的 bigQuery。
查询大约需要 110 秒才能完成。对于这种大小的数据集,这是否正常?
经过进一步调查,您的桌子看起来很碎片化。我们通常会运行一个合并进程来防止这种情况,但在我们验证错误修复时它已经关闭了几个星期。我已经重新启动了聚结器并在你的桌子上运行它。如果您仍然看到性能不佳,请告诉我。
As a best practice, you may be better off importing somewhat less frequently in larger chunks, or splitting your data into time-based tables. BigQuery isn't really designed to handle high-volume small imports to the same table.