python - 使用 Pyspark 和 Hive 显示来自特定数据库的表

Question

在 Hive 实例中包含一些数据库和表。我想显示一些特定数据库的表（比如说 3_db）。

+------------------+--+
|  database_name   |
+------------------+--+
| 1_db             |
| 2_db             |
| 3_db             |
+------------------+--+

如果我从那里的 bash-nothing complex 进入直线，我只需执行以下操作：

show databases;
show tables from 3_db;

当我通过 ipython notebeook 使用 pyspark 时，我的廉价技巧在那里不起作用，而是在第二行给我错误（显示来自 3_db 的表）：

sqlContext.sql('show databases').show()
sqlContext.sql('show tables from 3_db').show()

似乎有什么问题，为什么相同的代码在一个地方有效而在另一个地方无效？

Answer 1

sqlContext.sql("show tables in 3_db").show()

Answer 2

另一种可能性是使用Catalog方法：

spark = SparkSession.builder.getOrCreate()
spark.catalog.listTables("3_db")

请注意，在 PySpark 中此方法返回 alist而在 Scala 中，它返回 a DataFrame。

Answer 3

有两种可能的方法可以实现这一点，但它们在效率方面存在很大差异。

---

使用 SQL

这是最有效的方法：

spark_session = SparkSession.builder.getOrCreate()
spark_session.sql("show tables in db_name").show()

使用catalog.listTables()

与以前的方法相比，以下方法效率更低，因为它还加载表的元数据：

spark_session = SparkSession.builder.getOrCreate()
spark_session.catalog.listTables("db_name")