apache-spark - 使用 Livy 上传 Python 脚本

Question

我正在尝试找到一种Livy API (or client)在 spark 服务器上使用推送 python 脚本的方法。我尝试了以下方法。

1. curl -X POST --data '{"file": "/user/test/pi.py"}' -H "Content-Type: application/json" localhost:8998/batches

，但是当我看到日志时，它给出了找不到文件，因为它试图在服务器上查找路径。

2. 使用 Livy Python 客户端。

r = client.upload_pyfile("/tmp/code/test.py")

，这将返回一个未来的对象，但没有创建批次，（我什至不确定它上传到的文件路径）。

基本上我想要的是 -

1. 能够通过 API 在使用 Livy 的 Spark 服务器上上传文件。

2. 提交批处理/运行触发器。使用李维。

Answer 1

使用 Livy JAVA 客户端，我也可以这样做。我已将 jar 上传到 Livy 服务器并提交 Spark JOBS。

您可以参考下面的链接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事项： 1.等待livy客户端成功上传jar/文件。2. jar/file 应该在 livy 服务器或 HDFS 中可用，它可以被 livy 服务器访问。