apache-spark - 对 Spark Thrift Server 的直线查询未在 Spark History UI 中显示任何内容

Question

我刚刚在端口 10016（默认）上使用 Hive 和 Spark Thrift 服务器构建了一个 Hortonworks 集群，并通过直线测试了 SELECT 语句到 STS

https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server

beeline> !connect jdbc:hive2://localhost:10016/default
select * from table1;

我可以得到结果，一切都很好。但我的问题是查询为什么根本不显示在 Spark History Server UI 中？我怎么知道它是否真的是 Spark 做计算工作而不是通过 HiveServer2？

更新 1

这就是我所拥有的，并且默认情况下已经启用了日志：

Answer 1

如果您使用与端口 10016 的连接 - 它是 Spark。请检查属性spark.eventLog.enabled是否设置为true（它必须在 $SPARK_HOME/conf/spark-defaults.conf 中）。