0

我正在使用 Spark 2.2 快照(它包括我需要的修复程序)。我可以通过启动“本地”火花来运行我的应用程序,一切都很好。当我使用 spark-submit 运行作业时,出现以下错误:

17/04/19 13:25:42 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 192.168.13.231, executor 0): java.io.InvalidClassException:
org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3

有一些与此问题相关的帖子,这些帖子表明不兼容是由类路径上旧版本的 commons-lang3 引起的。但是我已经明确设置了 commons-lang3 (3.5) 的版本,验证了应用程序只依赖于 3.5(使用 sbt-dependency-graph),甚至从生成的 jar 中删除了所有 commons-lang3 文件。这些都没有解决这个问题。

任何帮助在这里非常感谢 - 如果它不在提交的 jar 文件中,那么火花会在哪里拾取旧的依赖项?我是否完全误解了错误消息?

谢谢

4

1 回答 1

0

以防万一这对任何人都有帮助 - jar 冲突来自已添加到 spark 的 alluxio 客户端。虽然我还没有尝试过,但我认为将这个版本与 spark 版本平方会在这里解决问题。

于 2017-04-20T00:51:29.197 回答