我遇到了一个特定表的 ETL 运行时问题，该表具有约 100K 行和 650 列，其中大多数是整数（其他是字符串或日期）。该表由2个字符串列进行聚类，etl的逻辑主要用“Lag”、“Coalesce”、“Case”和“Least”命令构建。滞后由与表集群中的列相同的列进行分区。此表在 ETL 中的步骤的运行时间非常长。我对 Snowflake 的成本效益逻辑不是很熟悉，并且在不知道从哪里开始查找的情况下调试这个问题需要太长时间（因为运行查询大约需要一个小时！）关于从哪里开始/阅读可以帮助我解决的材料的任何建议这个问题更快？
问问题
35 次
1 回答
0
雪花中的集群键通过减少扫描所需的微分区数量来工作。由于您的表非常小，因此使用集群键确实没有意义，而且它可能不会对性能产生任何影响。我建议在 ETL 步骤运行时查看查询配置文件，以了解时间花在了哪里。
https://docs.snowflake.com/en/user-guide/ui-query-profile.html
另外，您是否尝试过扩展到更大的仓库？
于 2021-12-19T21:44:13.347 回答