pyspark - 如何在 Zeppelin notebook 和 pyspark 中导入 Delta Lake 模块？

Question

我正在尝试在带有 pyspark 的 Zeppelin 笔记本中使用 Delta Lake，但它似乎无法成功导入模块。例如

%pyspark
from delta.tables import *

它失败并出现以下错误：

ModuleNotFoundError：没有名为“delta”的模块

delta但是，使用格式保存/读取数据帧没有问题。如果使用scala spark可以成功加载模块%spark

有没有办法在 Zeppelin 和 pyspark 中使用 Delta Lake？

Answer 1

最后设法将它加载到 zeppelin pyspark 上。必须明确包含 jar 文件

%pyspark
sc.addPyFile("**LOCATION_OF_DELTA_LAKE_JAR_FILE**")
from delta.tables import *