apache-spark - 如何将 jar 添加到正在运行的 spark 上下文中？

Question

详细地说，我正在使用 livy 创建一个 spark 会话，然后将我的作业提交给 livy 客户端，该客户端在同一个 spark 会话中运行它们。现在，如果我需要在其中一个作业中添加一个新 jar 作为依赖项，有没有办法将 jar 放入正在运行的 spark 会话中？

我试过 spark.jars，但它只在创建会话时读取，而不是在已经运行的会话中读取。

谢谢

Answer 1

我不这么认为。我认为你也不能在 spark-shell 中做到这一点。如果可以的话，livy 的方法可能会变得清晰。尝试谷歌搜索在 spark-shell 中执行此操作的方法，看看您是否有更好的运气获得答案。