问题标签 [performance-measuring]

我不确定问题是出在我的回归估计模型上，还是出在我对 r^2 拟合度测量实际含义的理解上。我正在使用 scikit learn 和大约 11 个不同的回归估计器进行一个项目，以产生（粗略的！）棒球幻想表现的预测。某些模型总是比其他模型表现更好（决策树回归和额外树回归产生最差的 r^2 分数，而 ElasticCV 和 LassoCV 产生最好的 r^2 分数，而且偶尔甚至可能是一个稍微正数！）。

如果一条水平线产生的 r^2 分数为 0，那么即使我所有的模型都毫无价值，并且实际上具有零预测值，并且完全随机地吐出数字，那么我不应该得到 r^ 的小正数2 有时，如果仅仅是因为愚蠢的运气？尽管在不同的数据集上运行了数百次，但我使用的 11 个估计器中有 8 个从未为 r^2 产生过哪怕很小的正数。

我是否误解了 r^2 的工作原理？

我也没有在 sklearn 的 .score 函数中切换顺序。我已经仔细检查了很多次。当我以错误的方式放置 y_pred, y_true 的顺序时，它会产生非常负的 r^2 值（例如 <-5​​0 大）

事实上，这种情况实际上让我更加困惑，这里的 r^2 是如何衡量适合度的，但我离题了......

当我运行这个估计器以及我一直在试验的其他十个回归估计器时，我得到的 r2_score() 和 cross_val_score().mean() 几乎每次都显示负数。某些估计器总是产生甚至不接近于零的负分数（决策树回归器、额外树回归器）。某些估计器表现得更好，甚至有时会产生一个很小的正分数，尽管从不超过 0.01，甚至那些估计器（elasticCV、lassoCV、linearRegression）大多数时候都是负数，尽管只是略微负数。

即使我正在构建的这些模型很糟糕。说它们是完全随机的，并且在涉及到目标时没有任何预测能力：它不应该比普通水平线预测得​​更好吗？一个不相关的模型如何始终如一地预测比水平线更差？

像许多现代应用程序一样，我在当前应用程序中有几个移动部件：

• 网络服务
• 各种队列
• 各种工作进程
• 等等

为了正确管理我的应用程序，我想跟踪各种与应用程序相关的任意指标，例如：

• 一段时间内的平均队列长度
• 平均队列处理时间和/或最大处理时间
• 每单位时间处理的项目数，或每单位时间处理的类型 X 的项目数，例如在最后一分钟，小时，天有多少
• 等等

我很难为此提出一个逻辑模型，然后是一个实际的实现。我正在努力解决的一些问题：

• 这些计算是如何进行的？通过与我正在测量的事情相同的过程？通过一个单独的过程？
• 这些计算是什么时候进行的？例如，当然计算不应该与应用程序流程同步。
• 我如何存储这些计算的结果？是否有适合存储此类指标的数据库模式？

我的一部分感觉这是一个已解决的问题，并且我应该采用或重用一种架构或模式。

我故意提出这个问题，但没有提及我的应用程序正在使用的具体技术，因为我的直觉告诉我这对模式并不重要。

想法？

我将fastText 与 Python 一起使用，它提供了精度和召回率，但不提供准确性。如何从 fastText 获得准确性？或者，在给定精度和召回率的情况下，我如何计算准确率？

我的系统管道为“IBM MQ 队列--> Springboot 应用程序（消息格式化程序）--> Kafka topic-1（消息队列）--> Springboot 应用程序（消息转换器）--> --> Kafka topic-2（消息队列）”。

我的要求是测试在 IBM MQ 中生成并通过管道处理的消息的端到端处理时间。我有一个带有 JMS 客户端的 JMeter 负载测试脚本，它生成大量通过管道泵送的消息。Dynatrace Kafka 监控尚未实现，但这里使用了 Confluent Control Center for Kafka 监控。

您能否建议可能的选项来衡量 Springboot 应用程序（通过 DevOps Jenkins 管道部署的消息格式化程序和消息转换器应用程序）处理的消息的单个和端到端处理时间？

如何评估 ASR（自动语音识别）中的 WER（单词错误率）？

例如，如果我有 (Human Ref. Translation) 用于 ASR 的句子和输出。

我知道方程式，但我不知道如何计算它。计算WER时是否输入逗号、句号等标点符号？

以及对于单词的 sub、ins 和 del。有具体重量吗？他们每个人在等式中计算时？

任何知道我们如何为 ASR 计算 WER 的人。请给我一个例子，以便我可以在我的应用程序中的多个句子中计算 ASR 的 WER

Firefox 和 Safari 似乎存在问题，甚至不支持性能条目类型“first-paint”和“first-contentful-paint”。处理这些指标的替代方法是什么？

火狐浏览器中的错误

Safari 错误：

我刚刚从caretto切换到mlr我目前正在处理的特定问题。我想知道这里是否有人熟悉在resample()函数中指定自定义性能度量。

这是一个可重现的代码示例：

我不想计算 RMSE，而是想计算平均绝对比例误差MASE。例如，可以在Metrics包中找到用于此目的的函数：Metrics::mase().

我试图measures = Metrics::mase直接在resample()通话中包含，但正如预期的那样，有点乐观，我收到以下错误： Error in checkMeasures(measures, task) : Assertion on 'measures' failed: Must be of type 'list', not 'closure'.

我发现mlr包中有一个用于创建自定义性能指标的函数，称为makeMeasure()( https://rdrr.io/cran/mlr/man/makeMeasure.html )。我试着用它做一些试验，但没有成功。我在修改定制功能方面没有太多经验，所以我希望这里有人可以帮助我，或者为这样的东西提供一些资源。

干杯!

感谢您在以下方面的支持：

我有函数 getCode(processURL_) ，这是一个复杂的函数，它的底层有很多函数工作，并且消耗时间，所以我想监控执行时间并在它超过 20 秒的某个阈值时停止它。

我想出了如何通过使用并行监视进程来设置进程执行时间的阈值，但是：

1-这里需要的是触发并行经过时间计算，使用与这个复杂过程并行工作的“监控过程”并测量经过时间<<===完成............ ..

2-如果超过阈值，它将为“时间到了”抛出异常<<===完成............

3-现在我无法捕获抛出的异常，因为时间到了？？因为它是由并行过程抛出的（厌倦了形成同一个类或另一个类）

它可以由函数类中的函数 _ProcessTimeMonitoring 成功抛出到系统，并终止应用程序，但我需要通过函数ProcessTimeMonitoring 抛出异常并在主类中捕获它以使用此异常技巧终止函数 getCode(processURL) <<=====

，所以请任何人都可以帮助跨类处理这种异常。

或者如果并行功能时间到了，无论如何要打破主要功能？

提前致谢。

所以现代计算机和操作系统很复杂，并且有很多东西使得准确的预测和运行时的可重复性变得困难，比如调度器、分支预测器、缓存、预取器等。我不明白这些东西，但我想我理解其中的含义：运行一次是不够的。

幸运的是，perf stat它提供了一个--repeat命令，甚至为您提供了基本的统计数据。所以为了测试这个，我跑了

gcc -O2 hello.c -o hello用命令编译perf stat -r 100 ./hello。这给了我很好的输出像这样

但是，如果我现在再次运行这整个过程几次，平均运行时间可能与上一次运行相差甚远：

这里平均值的相对偏差为 37%，主要是由倒数第二个异常值引起的。但即使我不考虑那次运行，它仍然是 5.5%，比“单次”运行的偏差大得多。

那么这里发生了什么？为什么平均不起作用（在这种情况下）？我应该做什么？

编辑：当频率缩放被禁用时也会发生这种情况（sudo cpupower frequency-set --governor performance），但异常值似乎不太频繁。

我正在向我们的 UI 添加日志记录以跟踪页面加载持续时间的各个方面，包括 BE API 调用从服务器返回所花费的时间。我知道在过去，切换选项卡会导致setTimeout/Interval和requestAnimationFrame等问题，但不确定这是否适用于其他较新的异步功能，如生成器函数、获取或性能 API。

任何人都可以确认以下是否可以，或者如果用户在 API 调用正在进行时切换回另一个选项卡几分钟后，API 调用的记录持续时间是否不正确？

（我们正在使用 React、Redux、Redux Sagas、Babel、Webpack 和 whatwg-fetch）

in the above example, if the API call actually only takes 10 seconds to return, will the logged duration show 10 seconds or 2 minutes?

Thanks!