1

我正在使用 Python 通过databricks-connect. 在墙后面,这使用了确实是基于 java 的 spark,所以为了使用它,我需要 java。JDK 已下载(版本 14),设置为 JAVA_HOME 环境,但是当我运行代码时,出现以下错误:

原因:java.lang.reflect.InaccessibleObjectException:无法使私有 java.nio.DirectByteBuffer(long,int) 可访问:模块 java.base 不会“打开 java.nio”到未命名模块 @bccb269

这是它崩溃的代码

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

我用谷歌搜索但找不到这个错误,我认为这不是第一次发生在我身上。任何想法这个错误意味着什么,我该如何解决?

4

1 回答 1

1

Databricks Runtimes 和 databricks-connect 不适用于 Java 14。只有 DBR 10.x 对 Java 11 有实验性支持,但我怀疑它是否支持 databricks-connect。

您需要安装 Java 8 才能使用 databricks-connect。

于 2021-11-29T16:25:17.163 回答