当尝试将 Beam 与 spark 3.1.2 一起使用时,我们遇到了这个问题:
InvalidClassException:scala.collection.mutable.WrappedArray
如此处所述:https://www.mail-archive.com/issues@spark.apache.org/msg297820.html
这是一个不兼容的问题:spark 3.1.2 是用 scala 2.12.10 编译的,但这个问题仅适用于 scala >= 2.12.14。
我看到两个解决方案:
=> 用 scala 版本编译 spark & beam >= 2.12.14
=>将beam使用的spark版本升级到3.2.0,可以用scala 2.13编译
但是这两种解决方案都可能很长(需要了解梁源代码),有什么想法吗?
编辑 21/01/2022:
我的问题是:你认为这个问题有一个简单的解决方法吗?
我刚刚发现 Jira 票已经公开了:https ://issues.apache.org/jira/browse/BEAM-12762
感谢您的回答@Moritz,但我现在不知道该怎么做;如何在不编译 Beam 的情况下将其他版本的 Sclala 打包到 Beam Docker Image 中?