1

我在 HDInsight 上使用 Livy 将作业提交到 Spark 群集。我将代码编写并编译到 JAR 中，但它有多个依赖项，其中一些来自自定义存储库。

如何让 Livy 自行解决这些依赖关系？我不想提交一个胖 jar，因为依赖项总是在变化，我不喜欢所涉及的操作工作。

4

1 回答 1

1

您可能希望spark.jars.ivy作为参数传递。参考https://spark.apache.org/docs/latest/configuration.html

您可以在 /batches POST 正文中传递 Livy 支持的任何内容：https ://github.com/cloudera/livy#post-batches

于 2017-04-19T18:53:42.877 回答