2

任何人都知道如何将指标从气流发送到普罗米修斯，我没有找到太多关于它的文件，我在 Grafana 上尝试了气流操作员指标，但它没有显示任何指标，而且它只说没有数据点。

4

3 回答 3

1

默认情况下，Airflow 不支持 Prometheus 指标。我可以想到两种在 Prometheus 中获取指标的方法。

  1. 启用StatsD指标，然后使用statsd exporter将其导出到 Prometheus 。

  2. 安装第三方/开源 Prometheus 导出器代理（例如气流导出器）。

如果您使用第二种方法，那么 Airflow Helm Chart 也为此提供支持。

编辑

如果您使用的是 statsd exporter ，这里是 Grafana Dashboard 和 exporter 配置的好资源。

于 2020-07-30T20:53:29.137 回答
0

如果您安装了带有 statsd 支持的 Airflow：

pip install 'apache-airflow[statsd]'

您可以在airflow.cfg文件的调度程序部分公开 Airflow statsd 指标，如下所示：

[scheduler]
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow

然后，您可以安装一个名为 的工具statsd_exporter，该工具捕获 statsd 格式的指标并将其转换为 Prometheus 格式，使它们在/metrics端点上可供 Prometheus 抓取。

DockerHub 上有一个可用的 docker 镜像astronomerinc/ap-statsd-exporter，它已经将 Airflow statsd 指标映射到 Prometheus 指标。

参考：

于 2020-08-05T00:08:14.187 回答
0

您是否尝试过使用 roobinhood 的 airflow -prometheus-exporter？听起来很有希望，但我还没有尝试过。

于 2020-11-08T21:47:53.843 回答