apache-spark - 如何在 Apache Spark 中启用 ExecutorAllocationManagerSource 指标？

Question

在 Apache Spark 中启用通用指标的文档有点薄：

在一个实例中，“源”指定一组特定的分组度量。有两种来源：

Spark 内部源，如 MasterSource、WorkerSource 等，它们将收集 Spark 组件的内部状态。每个实例都与自动添加的 Spark 源配对。

常见的来源，如 JvmSource，它将收集低级状态。这些可以通过配置选项添加，然后使用反射加载。

所有示例均采用以下形式：

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

然而，没有一个看似合理的变化允许我发布生成的指标ExecutorAllocationManagerSource

该类没有经过单元测试，我找不到任何其他文档或示例。

Answer 1

事实上，这些指标是在没有任何特殊配置的情况下发布的ExecutorAllocationManagerSource。但是，它们仅在相关代码路径处于活动状态时才会显现。在这种情况下，这意味着启用动态执行程序分配。

我的集群被错误地配置为没有动态执行程序分配。启用后，这些指标将在驱动程序指标下发布，无需任何特殊配置。