apache-spark - 来自 Spark hivecontext 的查询会锁定 hive 表吗？

Question

我知道如果我从 Hive 提交查询，将获取共享锁，然后配置单元表将被查询锁定：https ://cwiki.apache.org/confluence/display/Hive/Locking

所以我只是想知道查询是否由 Spark Hivecontext 执行，是否需要锁定以及表是否也会被锁定？另外，如果我通过 Spark Hivecontext 将数据插入表中，是否需要独占锁？

谢谢

Answer 1

它在 Spark SQL v.1.6 中受支持，在 2.x 和 3.x 版本中不受支持。

https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4

unsupportedHiveNativeCommands
...
    | kw1=LOCK kw2=TABLE
    | kw1=LOCK kw2=DATABASE
    | kw1=UNLOCK kw2=TABLE
    | kw1=UNLOCK kw2=DATABASE