1

我正在尝试在 spark SQL 中调试一个返回不正确数据的简单查询。

在这种情况下，查询是两个 hive 表之间的简单连接。问题似乎与 spark 生成的物理计划（使用催化剂引擎）看起来已损坏的事实有关，其中物理计划中的某些步骤有未分配订单 ID，因此连接右侧的所有评估都未在 spark 查询中完成

这是示例查询

from pyspark_llap import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).build()

filter_1 = hive.executeQuery('select * from 03_score where scores = 5 or scores = 6')
filter_2 = hive.executeQuery('select * from 03_score where scores = 8')


joined_df = filter_1.alias('o').join(filter_2.alias('po'), filter_1.encntr_id == filter_2.encntr_id, how='inner')
joined_df.count() ### shows incorrect value ### 
joined_df.explain(True)

这是spark返回的物理计划示例

== Physical Plan ==
 SortMergeJoin [encntr_id#0], [encntr_id#12], Inner
:- *(2) Sort [encntr_id#0 ASC NULLS FIRST], false, 0
:  +- Exchange hashpartitioning(encntr_id#0, 200)
:     +- *(1) Filter isnotnull(encntr_id#0)
:        +- *(1) DataSourceV2Scan [encntr_id#0, scores_datetime#1, scores#2], com.hortonworks.spark.sql.hive.llap.HiveWarehouseDataSourceReader@a6df563
+-  Sort [encntr_id#12 ASC NULLS FIRST], false, 0
   +- Exchange hashpartitioning(encntr_id#12, 200)
      +-  Filter isnotnull(encntr_id#12)
         +- DataSourceV2Scan [encntr_id#12, dateofbirth#13, postcode#14, event_desc#15, event_performed_dt_tm#16], com.hortonworks.spark.sql.hive.llap.HiveWarehouseDataSourceReader@60dd22d9

请注意，连接右侧的所有数据源扫描、过滤器交换和排序都没有分配订单 ID。

谁能帮我解释一下这个问题.. 为什么看起来正确的物理计划不会被分配评估订单 ID？

4

1 回答 1

0

内部想通了。

原来火花优化例程可能会受到配置设置的影响

spark.sql.codegen.Maxfields

这可能会影响 spark 如何优化从“胖”表中读取的内容。

在我的情况下，设置设置为低，这意味着从连接右侧（“胖”表）读取的 DAG 阶段是在没有分配给 Wholestage codegen 的情况下执行的。

需要注意的是，在任何一种情况下读取配置单元数据都返回相同的结果，只是对物理计划应用了不同的优化

于 2020-02-12T10:30:52.623 回答