0

关于使用指标的拉取机制以及如何使用 Prometheus 监控 Spark 3 应用程序有一些非常基本的问题：

  1. Spark-3 支持的 PrometheusServlet 接收器是否包含自应用程序启动时间以来的所有指标？这些指标是否未汇总？
  2. 接收器中的度量信息存储在哪里/如何存储以及当 Prometheus 抓取端点时真正发生了什么？如果端点显示自应用程序启动时间以来的所有指标信息，那么存储这些指标所花费的内存不会成为长时间运行的 spark 应用程序的问题吗？
  3. Prometheus 是否会在每次重新抓取时获取所有指标（从应用程序启动时间开始）？如果不是，它如何知道上次抓取的指标？

谢谢。

4

1 回答 1

0

您可以自行设置并查看.. :)

无论如何，每个指标的行为方式取决于指标（天气是累积指标还是快照，如https://spark.apache.org/docs/latest/monitoring.html中所述（每个指标都有一个标签，说明其类型)

指标的过去值不会被存储，由 Prometheus 定期获取它（这是它无论如何都会做的，因为它是基于拉取的）。servlet 只是以普罗米修斯兼容的方式格式化指标

于 2020-11-03T19:32:55.307 回答