我们正在尝试使用 prometheus 获取 spark 指标。我们正在使用 jmx 导出器 jmx_prometheus_javaagent-0.12.0.jar。
我们能够获得部署模式客户端的指标,但对于集群我们无法获得它。
对于使用的独立命令是
./spark-submit --conf "spark.driver.extraJavaOptions=-javaagent:../jars/jmx_prometheus_javaagent-0.12.0.jar=8071:../conf/spark.yml" --class somecustomeclass --deploy-模式客户端 --executor-memory 3g --driver-memory 3G ../jars/somejar.jar
对于集群,我们尝试了
./spark-submit --supervise --deploy-mode cluster --conf 'spark.driver.extraJavaOptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.yml spark.executor.extraJavaOptions =-javaagent:/jars/jmx_prometheus_javaagent-0.12.0.jar=8061:/conf/spark.yml spark.jars=/jars/jmx_prometheus_javaagent-0.12.0.jar ' --files /jars/jmx_prometheus_javaagent-0.12.0。 jar --class org.apache.spark.examples.SparkTC --master spark://host1:7077,host2:7077 --executor-memory 1G --total-executor-cores 1 /spark/spark-2.4.0- bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1
我们在设置或命令中是否缺少任何内容?