dataframe - 数据框 API 与 Spark.sql

Question

以 Dataframe API 格式而不是 Spark.sql 查询编写代码是否有任何显着优势？

想知道 Catalyst 优化器是否也可以处理 spark.sql 查询。

score 1 · Accepted Answer

无论您使用 DataFrame API 还是 Spark Sql API 编写代码，在性能方面都没有显着差异，因为 dataframe api 和 spark sql api 都是 RDD（弹性分布式数据集）之上的抽象。

Catalyst Optimizer 优化结构查询——用 SQL 或通过 DataFrame/Dataset API 表达——这可以减少程序的运行时间并节省成本。

要回答您的问题，Catalyst Optimizer 适用于 Spark sql 以及 Dataframe/Dataset APIs。

如果您想更详细地了解内部及其工作原理，可以查看这篇详细解释的文章。

score 1 · Accepted Answer

1

Spark SQL、Scala Dataframe 和 PySpark Dataframe apis 的优化器是相同的。

于 2021-02-25T02:31:27.253 回答

score 1 · Accepted Answer

无论如何，您的数据帧转换和 spark sql 查询将被转换为执行计划，并且 Catalyst 将对其进行优化。

dataframe api 的主要优点是您可以使用 dataframe 优化功能，例如 : cache()，通常您将对执行计划有更多的控制权。

我觉得测试你的代码也更容易，人们倾向于编写 1 个巨大的查询......

3 回答 3