hadoop - 如何延长神经节？

Question

在我安装完 ganglia 后，web UI 只显示了有关磁盘的基本指标信息，如下所示：

但是在 ganglia 演示网站上，请看这里，它显示了许多关于磁盘 iostat 的指标，如下所示： 我的问题是：我应该如何配置 ganglia 以显示这些指标？

我知道 github 上有很多 ganglia 模块，但我不知道如何使用它。我是ganglia的新手，你能告诉我该怎么做吗？非常感谢。

Answer 1

在神经节中显示 Spark 指标的 2 个步骤：

1. 在神经节支持下重建火花

   Spark 预发布不附带 ganglia 对许可证问题、Spark 的 Apache 2.0 和 ganglia 的 LGPL 的支持。

   通常，build/mvn -Pspark-ganglia-lgpl -Pother_profiles_to_enable -DskipTests clean package应该可以自己重建一个，您可以在此处找到有关自定义 spark build 的更多信息

2. 使用设置指标conf/metrics.properties

   我建议先阅读Monitoring and Instrumentation和metrics 配置模板。

   度量系统被划分为对应于内部组件的实例。每个实例都可以配置为向一个或多个接收器报告其指标。[instance] 的可接受值为“master”、“worker”、“executor”、“driver”和“applications”。

   “接收器”指定指标被传递到的位置。可以为每个实例分配一个或多个接收器。

ganglia 是接收器之一，您可以按如下方式对其进行配置：

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink
*.sink.ganglia.host=239.2.11.71
*.sink.ganglia.port=8636
*.sink.ganglia.period=10
*.sink.ganglia.unit=seconds
*.sink.ganglia.ttl=1
*.sink.ganglia.mode=multicast