1

我正在尝试将 Graphite sink 添加到我的 Fusion Spark 组件中。

我创建了一个文件 - ${FUSION_DIR}/apps/spark-dist/conf/metrics.properties 的内容 - 

# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-server
*.sink.graphite.port=2003
*.sink.graphite.period=10
*.sink.graphite.prefix=lab.$(hostname)

# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

并将以下内容添加到 ${FUSION_DIR}/apps/spark-dist/bin/spark-submit -

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf=metrics.properties  "$@"

但我在 Graphite 中没有看到任何指标报告，在 Spark 日志中也没有错误。
有人在 Fusion 中成功使用过 Spark 指标配置吗？

4

1 回答 1

1

我需要在--conf 参数中添加完整路径spark-submit-

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf="${SPARK_HOME}"/conf/metrics.properties "$@".

当 Spark 主进程和工作进程启动时，我没有看到错误，但是在启动时我确实看到了一个错误，spark-shell这让我陷入了配置问题。

于 2019-04-05T17:08:57.623 回答