apache-spark - Spark Thrift 服务器排队查询

Question

当并行查询命中 Spark Thrift 服务器时，在 Spark UI --> JDBC/ODBC Server 中，它会将所有查询显示为已启动，但所有查询都以顺序方式执行

这是 Thrift Server 启动脚本---

start_thriftserver (){
        sudo /usr/lib/spark/sbin/start-thriftserver.sh \
--master yarn \
--deploy-mode client \
--executor-memory 3200m \
--executor-cores 2 \
--driver-memory 4g \
--conf spark.dynamicAllocation.enabled=true \
--conf spark.shuffle.service.enabled=true \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.dynamicAllocation.schedulerBacklogTimeout=1s \
--conf spark.dynamicAllocation.minExecutors=50 \
--conf spark.executor.memoryOverhead=684

Answer 1

这确实是一个令人困惑的话题。

spark.sql.hive.thriftServer.singleSession=false

尝试这个。

也就是说，我对这一切有点怀疑。