apache-spark - 每次提交批处理作业时，livy 服务器都会提交 jar

Question

使用 Livy 服务器提交 Apache Spark 批处理作业时，它每次都上传 jar 文件（包含应用程序），即每次提交批处理作业。这似乎增加了作业提交时间。有没有办法引用 spark 中存在的 jar主本地目录？

Answer 1

我不确定您是在谈论将 jar 文件从 Livy 客户端上传到 Livy 服务器还是从 Livy 服务器上传到 Spark 集群。如果这是从 Livy 客户端到服务器，那么我相信将这些 jar 文件放在 /usr/lib/livy/repl_2.11-jars 中就可以了。