0

我正在尝试遵循此文档:

https://github.com/spark-jobserver/spark-jobserver#dependency-jars

文档中列出的选项 2 说:

提交作业时,也可以在作业配置参数中使用dependent-jar-uris。在 ad-hoc 上下文中,这与dependent-jar-uris 上下文配置参数具有相同的效果。在持久上下文中,将为当前作业加载 jar,然后为将在持久上下文上执行的每个作业加载 jar。curl -d "" 'localhost:8090/contexts/test-context?num-cpu-cores=4&memory-per-node=512m' OK⏎ curl 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample&context= test-context&sync=true' -d'{dependent-jar-uris = ["file:///myjars/deps01.jar", "file:///myjars/deps02.jar"], input.string = "abcab请参阅“}' 罐子 /myjars/deps01.jar 和 /myjars/deps02。

“file:///myjars/”目录是 SJS 节点的 JAR 目录还是一些自定义目录?

我在 Windows 机器上有一个客户端,在 Linux 机器上有一个 Spark JobServer。接下来,我将一个 JAR 上传到 SJS 节点。SJS 节点将那个 Jar 放在某处。然后,当我调用启动 Job 并设置“dependent-jar-uris”时,SJS 节点将找到我之前上传的 JAR 并运行该作业:

“dependent-jar-uris”设置为“file:///tmp/spark-jobserver/filedao/data/simpleJobxxxxxx.jar”

这很好用,但我必须手动搜索 SJS 节点以找到该位置(例如 file:///tmp/spark-jobserver/filedao/data/simpleJobxxxxxx.jar),然后将其添加到我未来的请求中以开始工作。

相反,如何从客户端进行 REST 调用以获取 Spark JobServer 在我上传 jar 时放置它们的路径,以便我可以在“dependent-jar-uris”中正确设置 file:/// 路径动态属性?

4

1 回答 1

0

我不认为使用“POST /jars”上传的 jars 可以在dependent-jar-uris 中使用。由于您正在上传 jar,因此您已经知道本地路径。就用那个。

于 2016-08-12T16:39:58.390 回答