我需要从 s3 存储中读取特定版本的 delta 文件,并且需要 delta 包。
使用databricks-connect运行代码时出现错误:
ModuleNotFoundError: No module named 'delta.tables'
我尝试按照 Delta Lake Quickstart 文档中的建议更改配置
spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.jars.packages", "io.delta:delta-core_2.12:0.8.0") \
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
.getOrCreate()
from delta.tables import *
但没有结果。
数据砖连接版本 7.3.7
有没有其他方法可以导入delta模块?