我正在尝试遵循此文档:
https://github.com/spark-jobserver/spark-jobserver#dependency-jars
文档中列出的选项 2 说:
提交作业时,也可以在作业配置参数中使用dependent-jar-uris。在 ad-hoc 上下文中,这与dependent-jar-uris 上下文配置参数具有相同的效果。在持久上下文中,将为当前作业加载 jar,然后为将在持久上下文上执行的每个作业加载 jar。curl -d "" 'localhost:8090/contexts/test-context?num-cpu-cores=4&memory-per-node=512m' OK⏎ curl 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample&context= test-context&sync=true' -d'{dependent-jar-uris = ["file:///myjars/deps01.jar", "file:///myjars/deps02.jar"], input.string = "abcab请参阅“}' 罐子 /myjars/deps01.jar 和 /myjars/deps02。
“file:///myjars/”目录是 SJS 节点的 JAR 目录还是一些自定义目录?
我在 Windows 机器上有一个客户端,在 Linux 机器上有一个 Spark JobServer。接下来,我将一个 JAR 上传到 SJS 节点。SJS 节点将那个 Jar 放在某处。然后,当我调用启动 Job 并设置“dependent-jar-uris”时,SJS 节点将找到我之前上传的 JAR 并运行该作业:
“dependent-jar-uris”设置为“file:///tmp/spark-jobserver/filedao/data/simpleJobxxxxxx.jar”
这很好用,但我必须手动搜索 SJS 节点以找到该位置(例如 file:///tmp/spark-jobserver/filedao/data/simpleJobxxxxxx.jar),然后将其添加到我未来的请求中以开始工作。
相反,如何从客户端进行 REST 调用以获取 Spark JobServer 在我上传 jar 时放置它们的路径,以便我可以在“dependent-jar-uris”中正确设置 file:/// 路径动态属性?