java - 如果未使用所有依赖项 jar 编译，则上传到 Apache Livy 的应用程序将失败

Question

我正在向 Livy 提交一个带有 curl 命令的批处理作业，即 Pi 作业，但它失败了，因为java.lang.ClassNotFoundException: org.apache.livy.Job. 如果我用 jar 文件中的所有依赖项编译我的 jar，那么它就可以工作。

为什么我需要这样做？我在 Livy 上执行它，至少我希望 Livy 有它自己的依赖项可用。

Answer 1

Livy 在自然界中模拟 spark 提交使用 SparkLauncher，所以你的 jar 应该是 fatJar，包含所有依赖。