我有一个在 Apache Spark 3.1.2 上运行的 Thrift 数据库,我在其中创建了一个表并使用直线插入了值。它看起来像这样:
0: jdbc:hive2://localhost:10000/> select * from mydb4.test;
+-------+--------+
| key | value |
+-------+--------+
| 1235 | test4 |
| 123 | test |
+-------+--------+
但是,当我尝试使用 pyspark 获取它时,返回的列名如下:
database = "mydb4"
table = "test"
jdbcDF = spark.read.format("jdbc") \
.option("url", f"jdbc:hive2://<URL>/mydb4") \
.option("dbtable", table) \
.load()
jdbcDF.select("key").show()
+---+-----+
|key|value|
+---+-----+
|key|value|
|key|value|
+---+-----+
为什么我在返回的表中看不到正确的值?我只看到列名而不是值。