1

我试图通过使用Metrics.counter&测量部分数据流作业来更深入地了解我的数据流作业，Metrics.gauge但我在 Stackdriver 上找不到它们。

我有一个高级 Stackdriver 帐户，可以在 Dataflow UI 的自定义计数器部分下看到这些计数器。

我可以droppedDueToLateness在 Stackdriver 上看到“自定义”计数器，该计数器似乎也是通过Metrics.counter...

除此之外，还有一些可能会有所帮助的事情是，当我浏览https://app.google.stackdriver.com/services/dataflow时，我收到的消息是：“您没有任何此类资源被监控通过 Stackdriver。” 这也很奇怪。好像我们的 Cloud Dataflow 没有正确连接到 Stackdriver，但是，另一方面。显示并可以监控一些指标，例如系统滞后、水印年龄、经过时间、元素计数等...

我错过了什么？

问候

4

1 回答 1

4

自定义指标命名约定

在 Dataflow 中定义自定义指标时，您必须遵守自定义指标命名约定，否则它们将不会显示在 Stackdriver 中。

相关片段：

对于度量标签名称，您必须遵守以下拼写规则：

  • 您可以在名称中使用大小写字母、数字、下划线 (_)。
  • 您可以以字母或数字开头的名称。
  • 度量标签名称的最大长度为 100 个字符。

如果您使用

Metrics.counter('namespace', 'name')

该指标在 stackdriver 中显示为custom.googleapis.com/dataflow/name，因此“名称”应遵守上述规则。Stackdriver 似乎没有使用命名空间。

附加：标签

以这种方式定义时，似乎无法向指标添加标签。但是，度量的每个时间序列的完整描述是一个字符串，其格式为

'name' job_name job_id transform

因此，您可以按这 4 个属性（+ 区域和项目）进行聚合。

于 2018-02-01T15:11:52.560 回答