7

我写这篇文章不是为了问问题，而是为了分享知识。我正在使用 Spark 连接到雪花。但我无法访问雪花。databricks 中的内部 JDBC 驱动程序似乎有问题。

这是我得到的错误。

java.lang.NoClassDefFoundError:net/snowflake/client/jdbc/internal/snowflake/common/core/S3FileEncryptionMaterial

我尝试了许多版本的雪花 jdbc 驱动程序和雪花驱动程序。似乎我可以匹配正确的那个。

4

4 回答 4

5

提问者给出的答案（我只是从问题中提取它以获得更好的网站可用性：


第 1 步：使用 Spark 版本 - 2.3.0 创建集群。和 Scala 版本 - 2.11
第 2 步：将 snowflake-jdbc-3.5.4.jar 附加到集群。 https://mvnrepository.com/artifact/net.snowflake/snowflake-jdbc/3.5.4
第 3 步：将 spark-snowflake_2.11-2.3.2 驱动程序附加到集群。 https://mvnrepository.com/artifact/net.snowflake/spark-snowflake_2.11/2.3.2

这是示例代码。

val SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"

val sfOptions = Map(
    "sfURL" -> "<snowflake_url>",
    "sfAccount" -> "<your account name>",
    "sfUser" -> "<your account user>",
    "sfPassword" -> "<your account pwd>",
    "sfDatabase" -> "<your database name>",
    "sfSchema" -> "<your schema name>",
    "sfWarehouse" -> "<your warehouse name>",
    "sfRole" -> "<your account role>",
    "region_id"-> "<your region name, if you are out of us region>"
)

val df: DataFrame = sqlContext.read
    .format(SNOWFLAKE_SOURCE_NAME)
    .options(sfOptions)
    .option("dbtable", "<your table>")
    .load()
于 2019-12-24T10:34:11.253 回答
3

如果您使用的是 Databricks，则有一个由 Databricks 和 Snowflake 人共同创建的Databricks Snowflake 连接器。您只需提供一些项目来创建 Spark 数据框（见下文——从 Databricks 文档中复制）。

# snowflake connection options
options = dict(sfUrl="<URL for your Snowflake account>",
               sfUser=user,
               sfPassword=password,
               sfDatabase="<The database to use for the session after connecting>",
               sfSchema="<The schema to use for the session after connecting>",
               sfWarehouse="<The default virtual warehouse to use for the session after connecting>")

df = spark.read \
  .format("snowflake") \
  .options(**options) \
  .option("dbtable", "<The name of the table to be read>") \
  .load()

display(df)

只要您在正确授予所有访问权限的情况下访问自己的数据库，即使在我们第一次尝试期间，这也只需要几分钟。

祝你好运！

于 2020-01-31T22:40:08.747 回答
0

您需要将 CLASSPATH 变量设置为指向 jar，如下所示。除了 PYTHONPATH 之外，您还需要设置 SPARK_HOME 和 SCALA_HOME。

导出 CLASSPATH=/snowflake-jdbc-3.8.0.jar:/spark-snowflake_2.11-2.4.14-spark_2.4.jar

您还可以在代码中加载内存 jar 来解决此问题。

spark = SparkSession \ .builder \ .config("spark.jars", "file:///app/snowflake-jdbc-3.9.1.jar,file:///app/spark-snowflake_2.11-2.5.3 -spark_2.2.jar") \ .config("spark.repl.local.jars", "file:///app/snowflake-jdbc-3.9.1.jar,file:///app/spark-snowflake_2 .11-2.5.3-spark_2.2.jar") \ .config("spark.sql.catalogImplementation", "in-memory") \ .getOrCreate()

于 2020-01-11T18:17:22.113 回答
-3

请更新至最新版本的 Snowflake JDBC 驱动程序（3.2.5）；这应该可以解决这个问题。谢谢！

于 2019-12-24T06:11:03.017 回答