1

我正在尝试设置一个用于将 Spark 指标存储到 Prometheus 的基础设施。我正在使用具有以下配置的 JMX 导出器

lowercaseOutputName: true
attrNameSnakeCase: true
rules:
- pattern: metrics<name=(\S+)\.driver\.(\S+)\.StreamingMetrics\.streaming\.(\S+)><>Value
  name: spark_streaming_$3
  labels:
    app_id: "$1"
    app_name: "$2"
- pattern: metrics<name=(\S+)\.driver\.(BlockManager|DAGScheduler)\.(\S+)><>Value
  name: spark_$2_$3
  labels:
    app_id: "$1"

我在这篇博客文章中发现了那些专注于 Spark Streaming 的指标模式。查看Spark 监控配置，我无法找到有关这些指标名称的更多信息。

我在哪里可以找到这些指标名称的详细列表，以创建如下模式：

  • (\S+).driver.(\S+).StreamingMetrics.streaming.(\S+)
  • (\S+).driver.(BlockManager|DAGScheduler).(\S+)
4

0 回答 0