apache-spark - 为 spark thrift 服务器提供仓库目录的路径

Question

我已经设置了我的 Spark 集群，并且我成功地通过 Spark SQL 连接器连接了 Tableau。

saveAsTable我从 spark shell 创建了我的表，并使用 ( )从 MySQL 保存了数据帧。

如何访问从 Tableau 中保存的表？启动spark thrift服务器时是否需要给出仓库目录的路径？如果是，如何做到这一点，如果不是，如何做到这一点？

Answer 1

确保您指向spark-shell和 thriftserver的相同元存储

Metastore 共享可以有两种方式，简单来说

1. 从同一位置启动 shell 和 thrift
2. 为 Metastore 设置远程数据库

您可以将 hive confs 传递给 Spark thrift server with--hiveconf和 Spark confs with--conf

./sbin/start-thriftserver.sh \
  --conf spark.sql.warehouse.dir=path/to/warehouse/dir \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host> \
  --master <master-uri>
  ...