0

我们正在尝试使用 prometheus 获取 spark 指标。我们正在使用 jmx 导出器 jmx_prometheus_javaagent-0.12.0.jar。

我们能够获得部署模式客户端的指标,但对于集群我们无法获得它。

对于使用的独立命令是

./spark-submit --conf "spark.driver.extraJavaOptions=-javaagent:../jars/jmx_prometheus_javaagent-0.12.0.jar=8071:../conf/spark.yml" --class somecustomeclass --deploy-模式客户端 --executor-memory 3g --driver-memory 3G ../jars/somejar.jar

对于集群,我们尝试了

./spark-submit --supervise --deploy-mode cluster --conf 'spark.driver.extraJavaOptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.yml spark.executor.extraJavaOptions =-javaagent:/jars/jmx_prometheus_javaagent-0.12.0.jar=8061:/conf/spark.yml spark.jars=/jars/jmx_prometheus_javaagent-0.12.0.jar ' --files /jars/jmx_prometheus_javaagent-0.12.0。 jar --class org.apache.spark.examples.SparkTC --master spark://host1:7077,host2:7077 --executor-memory 1G --total-executor-cores 1 /spark/spark-2.4.0- bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1

我们在设置或命令中是否缺少任何内容?

4

1 回答 1

0

需要打开安装程序中缺少的 jmx 端口..

关注https://argus-sec.com/monitoring-spark-prometheus/并可以获得指标。

于 2020-04-10T08:40:07.557 回答