问题标签 [codahale-metrics]

我在我的火花流应用程序中使用火花指标功能我已经在火花指标系统中添加了两个自定义指标，它们是

1. 每秒传入事件：使用 Spark Meter
2. 成功处理的事件数：使用 Spark 计数器

上述指标由 spark metric system 写入 CSV 文件，配置为 metrics.properties

现在我的要求是以指定的时间间隔添加一个 json 字符串来触发指标系统。

我期望的输出是 CSV 文件，其中包含如下数据

1、jsonString1

2、jsonString2

或者

jsonString1

jsonString2

请提出一种方法来做到这一点我搜索了很多但无法得到我期待的答案

提前致谢！

我正在使用 dropwizard 指标表来计算我的应用程序收到的请求总数。我正在将此仪表数据推送到我想在 grafana 仪表板中显示的 influxdb。我的流入数据库数据看起来像：-

当我试图在 grafana 中显示它时，我看到了一个奇怪的图表。我的查询有什么问题。

在我的 influxdb 中，我有如下指标。这些指标是 dropwizard 计量指标，可捕获 1 分钟、5 分钟和 15 分钟的移动平均值。

如何在 Grafana 仪表板中绘制这些移动平均线？

我是 Spring Boot Actuator 及其指标的新手。

在我阅读的文档和所有示例中，总是显示 spring 以这种方式导出端点指标gauge.response.[method-path]。但在某些情况下，我们有复杂@RequestMappings的 . 例如有这样的映射： @RequestMapping(value = {"{id:[^.]+}", "{id:[^.]+}.{type:\\w+}"}, method = RequestMethod.GET)

结果 spring 将生成带有这些丑陋变量的指标gauge.response.500.{id:[^.]+}，gauge.response.200.{id:[^.]+}.{type:\\w+}"（是的，我知道它会替换一些符号）

gauge.response.[package.Class.method]在这种情况下，如果我可以禁用它并启用默认命名或类似的东西会更好。

我正在使用的 DropwizardMetricServices#submit() 没有第二次提交仪表指标。

即我的用例是在阅读后从 JMX 中删除计量指标。我的应用程序可以发送相同的指标（具有不同的值）。

第一次成功提交仪表指标（然后我的应用程序在读取指标后将其删除）。但是，第二次没有提交相同的指标。

所以，我有点困惑 DropwizardMetricServices#submit() 第二次不工作的原因是什么？

下面是代码：

提交指标：

读取和删除指标的代码：

谁能建议从节点集群（每个节点都是带有 Java 应用程序的 Tomcat Docker 容器）收集指标的最佳模式？

我们计划使用 ELK 堆栈（ElasticSearch、Logstash、Kibana）作为可视化工具，但我们的问题是如何将指标传递给 Kibana？

我们正在使用 DropWizard 指标库，它提供每个实例的指标（仪表、计时器、直方图）。

显然，应该为每个实例收集一些指标（例如，cpu、内存等）——在每个集群中聚合它们没有任何意义。

但是对于诸如平均 API 响应时间、数据库调用持续时间等指标，我们需要一个清晰的全局图——即不是每个具体实例。

这就是我们犹豫的地方。我们应该吗：

1. 只需将简单的仪表值发送到 ElasticSearch 并允许 Kibana 计算平均值、百分位数等。在这种方法中，所有聚合都发生在 Kibana 中。
2. 使用每个实例的计时器和直方图并改为发送它们 - 但由于每个实例已经汇总了这些数据（即计时器已经提供了百分位数和 1 分钟、5 分钟和 15 分钟的速率） - Kibana 应该如何处理这个以显示全局图片？聚合已经聚合的数据是否有意义？

提前致谢，

我正在基于 API 创建 Play 指标，因此我有一个过滤器，它将从请求标头中识别 URL 并基于 URL 创建指标。但是为了创建计时器指标，我们必须分别在方法的开头和结尾开始和停止上下文。

因此，在我的自定义过滤器中，它正在启动上下文，但我需要弄清楚如何停止它，因为 API 调用没有通过过滤器返回响应。只有请求通过过滤器，但响应通过控制器。

需要帮助来了解如何通过播放过滤器实现基于 API 的指标。任何线索都会受到称赞。

到目前为止取得的成就：

我想获取我的每个 Cassandra 节点（不使用 JMX）的各种指标，如读/写延迟、磁盘利用率等作为 JSON 对象。在我看来，MetricsServlet可以做到这一点。但是，我仍然无法弄清楚，我需要做什么才能使用它（metrics-servlets 不附带 Cassandra）。如果我能得到一些建议/示例代码（用于获取任何指标），我将不胜感激。

我想以 JSON 格式获取 Cassandra 的各种指标。我阅读了有关Metrics JSON support的信息。但是，没有提供太多细节。我不知道它到底做了什么，如果它可以用于以 JSON 格式获取 Cassandra 的指标，我该怎么做呢？在一个单独的问题中，我询问了如何使用MetricsServlet实现类似的目标，但在我看来，metrics-json 可能是相似的，这就是为什么我想确切地知道为什么/如何使用它。

我在 Spark 用户邮件列表上发布了以下问题，但像往常一样，社区没有回复。

从 Driver 和 Executor 检测 Spark 应用程序指标的最佳方法是什么。

我正在尝试将我的 Spark 应用程序指标发送到 Kafka。我找到了两种方法。

方法 1：实现自定义 Source 和 Sink，并使用 Source 从 Driver 和 Executor 进行检测（通过使用 SparkEnv.metricSystem）。

方法 2：编写 dropwizard/gobblin KafkaReporter 并将其用于 Driver/Executor 的检测

哪一个会更好？如果我们采用方法 1，如何将指标限制为特定于应用程序？

我尝试使用方法 1，但是当我启动我的应用程序时，所有容器都被杀死了。

我做的步骤如下：

1. 由于没有来自 org.apache.spark.metrics.sink 的 KafkaSink，我已经按照https://github.com/erikerlandson/spark-kafka-sink中的建议实现了我的自定义 KafkaSink 和 KafkaReporter

2. 通过扩展实现 SparkMetricsSourceorg.apache.spark.metrics.source.Source

3. 注册了源

   /li>

4. 检测指标

   /li>

5. 通过 spark 属性配置 Sink