apache-spark - 火花指标 fot gmond / ganglia

Question

操作系统：美分操作系统 6.4

ISSUE: 在服务器上安装了 gmond、gmetad 和 gweb。在同一台服务器上安装了 spark worker。在$SPARK_HOME/conf/metrics.properties中配置的 metrics.properties如下...

CONFIGURATION (metrics.properties in spark): 

org.apache.spark.metrics.sink.GangliaSink

host      localhost

port      8649

period    10

unit      seconds

ttl       1

mode      multicast

我们无法在 ganglia web 中看到任何指标。请只做那些需要的。

-pradeep samudrala

Answer 1

首先，这些只是 Ganglia 默认设置的指示。你不应该取消注释。取自Spark网页 ( spark page ) 的指标部分：

要安装 GangliaSink，您需要执行 Spark 的自定义构建。请注意，通过嵌入此库，您将在 Spark 包中包含 LGPL 许可的代码。对于 sbt 用户，在构建之前设置 SPARK_GANGLIA_LGPL 环境变量。对于 Maven 用户，启用 -Pspark-ganglia-lgpl 配置文件。除了修改集群的 Spark 构建用户应用程序之外，还需要链接到 spark-ganglia-lgpl 工件。