3

我正在测试框架 Apache Spark。我需要监视有关我的集群的某些方面，例如网络和资源。

Ganglia 看起来是我需要的一个不错的选择。然后，我发现 Spark 支持 Ganglia。

在 Spark 监控网页上有以下信息：“要安装 GangliaSink，您需要执行 Spark 的自定义构建。”

我在我的 Spark 中找到了目录：“/extras/spark-ganglia-lgpl”。但我不知道如何安装它。

如何安装 Ganglia 来监控 Spark 集群？我如何进行此自定义构建？

谢谢！

4

2 回答 2

1

Spark Ganglia 支持是 Spark 项目的 Maven 配置文件之一，它是“spark-ganglia-lgpl”。为了激活配置文件，您在构建项目时将“-Pspark-ganglia-lgpl”选项放在 mvn 命令中。例如，使用 Ganglia 构建 Apache Hadoop 2.4.X 是由

mvn -Pspark-ganglia-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

构建 Spark 项目，请参考Building Spark with Maven文档

于 2014-12-03T01:50:40.750 回答
0

因此，如果您运行 HDP 堆栈，我建议您更新到最新版本。它包括 spark 作业跟踪器以及要部署在机器上的 spark 客户端库。它现在还将与将取代 Ganglia 和 Nagios 的 ambari 指标集成

于 2015-05-12T02:56:44.100 回答