apache-spark - Apache Livy 批处理请求正文中的 Spark AppName

Question

从 Apache Livy 提交批处理作业时如何设置 Spark 应用程序名称？

Answer 1

您可以name在发布请求中使用标签。

import json
import requests

host = 'http://ip:8998/batches'
headers = {'Content-Type': 'application/json'}

data = {
    'file': '/path/to/spark.jar',
    'className': 'class.to.Job',
    'numExecutors': 2,
    'executorMemory': '512m',
    'driverMemory': '512m',
    'name': 'Name your application'
}
r = requests.post(host, data=json.dumps(data), headers=headers)