1

与数据块的连接工作正常，使用 DataFrame 可以顺利进行（连接、过滤等操作）。当我调用数据框时会出现问题cache。

py4j.protocol.Py4JJavaError: An error occurred while calling o342.cache.
: java.io.InvalidClassException: failed to read class descriptor
...
Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD$client53442a94a3$$anonfun$mapPartitions$1$$anonfun$apply$23
    at java.lang.ClassLoader.findClass(ClassLoader.java:523)
    at org.apache.spark.util.ParentClassLoader.findClass(ParentClassLoader.java:35)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.java:40)
    at org.apache.spark.util.ChildFirstURLClassLoader.loadClass(ChildFirstURLClassLoader.java:48)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:257)
    at org.apache.spark.sql.util.ProtoSerializer.org$apache$spark$sql$util$ProtoSerializer$$readResolveClassDescriptor(ProtoSerializer.scala:4316)
    at org.apache.spark.sql.util.ProtoSerializer$$anon$4.readClassDescriptor(ProtoSerializer.scala:4304)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1857)
    ... 71 more

我根据需要使用 java8，清除 pycache 没有帮助。作为作业提交给数据块的相同代码可以正常工作。它看起来像是桥 python-jvm 级别的本地问题，但需要 java 版本 (8) 和 python (3.7)。切换到 java13 会产生完全相同的消息。

版本databricks-connect==6.2.0, openjdk version "1.8.0_242",Python 3.7.6

编辑：行为取决于如何创建 DF，如果 DF 的源是外部的，那么它工作正常，如果 DF 是在本地创建的，那么就会出现这样的错误。

# works fine
df = spark.read.csv("dbfs:/some.csv")
df.cache()

# ERROR in 'cache' line
df = spark.createDataFrame([("a",), ("b",)])
df.cache()
4

1 回答 1

1

这是一个已知问题，我认为最近的补丁修复了它。这是在 Azure 上看到的，我不确定您使用的是哪个 Azure 或 AWS，但它已经解决了。请检查问题 - https://github.com/MicrosoftDocs/azure-docs/issues/52431

于 2020-08-16T10:30:24.987 回答