1

当尝试将 Beam 与 spark 3.1.2 一起使用时,我们遇到了这个问题:

InvalidClassException:scala.collection.mutable.WrappedArray

如此处所述:https://www.mail-archive.com/issues@spark.apache.org/msg297820.html

这是一个不兼容的问题:spark 3.1.2 是用 scala 2.12.10 编译的,但这个问题仅适用于 scala >= 2.12.14。

我看到两个解决方案:

=> 用 scala 版本编译 spark & beam >= 2.12.14

=>将beam使用的spark版本升级到3.2.0,可以用scala 2.13编译

但是这两种解决方案都可能很长(需要了解梁源代码),有什么想法吗?

编辑 21/01/2022:

我的问题是:你认为这个问题有一个简单的解决方法吗?

我刚刚发现 Jira 票已经公开了:https ://issues.apache.org/jira/browse/BEAM-12762

感谢您的回答@Moritz,但我现在不知道该怎么做;如何在不编译 Beam 的情况下将其他版本的 Sclala 打包到 Beam Docker Image 中?

4

0 回答 0