hadoop - Flink Prometheus Push Gateway Reporter - 作业关闭时删除指标

Question

我已经PrometheusPushGatewayReporter按照文档指标部分中的说明进行了设置。

我可以看到 flink jobmanager 和推送网关 UI 中暴露的 taskmanagers 的指标，以及它们被 Prometheus Cluster 正确抓取。

问题是，即使我已经明确设置了deleteOnJobShutdownconfig 选项，当通过 flink cli 工具取消作业时，也只会删除 jobmanager 的指标。

有没有办法也删除过时的任务管理器指标？我的配置如下：

metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: $PUSH_GATEWAY_HOST
metrics.reporter.promgateway.port: 80
metrics.reporter.promgateway.jobName: foo
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: true
metrics.reporter.promgateway.interval: 60 SECONDS

我在 Hadoop 2.6.0 上使用 Flink 1.7.1

Answer 1

.

在我们的产品环境中，我们也遇到了同样的问题。如果 pushgateway 可以实现TTL for pushed metrics[1]，那将非常有用。但目前，我们使用外部调度系统来检查 flink 作业是否处于活动状态，然后通过 pushgateway 的 rest api[2] 删除指标。

[1] https://github.com/prometheus/pushgateway/issues/19

[2] https://github.com/prometheus/pushgateway#delete-method