8

在 python 中安装 delta 模块的正确方法是什么？

在示例中，他们导入模块

from delta.tables import *

但我没有找到在我的虚拟环境中安装模块的正确方法

目前我正在使用这个火花参数 -

"spark.jars.packages": "io.delta:delta-core_2.11:0.5.0"

4

4 回答 4

7

由于正确答案隐藏在已接受解决方案的评论中，我想我会在这里添加它。

您需要使用一些额外的设置创建您的火花上下文，然后您可以导入增量：

spark_session = SparkSession.builder \
    .master("local") \
    .config("spark.jars.packages", "io.delta:delta-core_2.12:0.8.0") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

from delta.tables import *

烦人的是，你的 IDE 当然会因为这个包没有安装而对你大喊大叫，而且你也将在没有自动完成和输入提示的情况下运行。我确信有一个解决方法，如果我遇到它，我会更新。

软件包本身在他们的 github 上，自述文件建议您可以 pip install 但这不起作用。理论上你可以克隆它并手动安装。

于 2021-05-19T13:58:26.687 回答
6

由于 Delta 的 Python 代码存储在 jar 中并由 Spark 加载，delta因此在创建 SparkSession/SparkContext 之前无法导入模块。

于 2019-12-19T11:37:33.820 回答
4

要使用 PySpark 在本地运行 Delta，您需要遵循官方文档。

这对我有用，但仅在直接执行脚本（python <script_file>）时才有效，而不是使用pytest或unittest。

为了解决这个问题，你需要添加这个环境变量：

PYSPARK_SUBMIT_ARGS='--packages io.delta:delta-core_2.12:1.0.0 pyspark-shell'

使用符合您情况的 Scala 和 Delta 版本。有了这个环境变量，我可以毫无问题地通过 cli 运行 pytest 或 unittest

from unittest import TestCase

from delta import configure_spark_with_delta_pip
from pyspark.sql import SparkSession


class TestClass(TestCase):
    
    builder = SparkSession.builder.appName("MyApp") \
        .master("local[*]")
        .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
        .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
    
    spark = configure_spark_with_delta_pip(builder).getOrCreate()

    def test_create_delta_table(self):
            self.spark.sql("""CREATE IF NOT EXISTS TABLE <tableName> (
                              <field1> <type1>)
                              USING DELTA""")

函数configure_spark_with_delta_pip在构建器对象中附加一个配置选项

.config("io.delta:delta-core_<scala_version>:<delta_version>")
于 2021-08-03T09:09:44.690 回答
-1

就我而言，问题是我的集群在低于 6.1 的 Databricks 运行时上运行

https://docs.databricks.com/delta/delta-update.html

Python API 在 Databricks Runtime 6.1 及更高版本中可用。

将 Databricks Runtime 更改为 6.4 后问题消失了。

为此：单击集群 -> 选择您正在使用的集群 -> 编辑 -> 选择 Databricks Runtime 6.1 及更高版本

于 2020-03-20T11:13:06.230 回答