问题标签 [yardstick]

我想评估几个回归模型的性能并使用yardstick包来计算 RMSE。这是一些示例数据

当我运行以下代码时

我收到以下错误

summarise_impl(.data, dots) 中的错误：没有适用于“rmse”的方法应用于“c('double','numeric')”类的对象。

但是，当我明确提供.作为第一个参数时（我认为这不是必需的），我没有收到错误，但结果不正确。

我期待以下

我知道这个功能有替代品，但我仍然不明白这种行为。

数据

我正在尝试为我的数据框中的每个组计算 AUC、Precision、Recall、Accuracy（我有一个数据框，它连接了来自三个不同模型的预测数据）。

tidyverse 的语法是什么？我想使用 Max Kuhn 的yardstick包来计算这些指标。

这是一个示例 df ，这是我到目前为止的位置：

指标：

现在我如何为我的数据集中的每个组获取这些指标？

有人可以向我解释有关 Apache Ignite 和 Yardstick 的信息吗？

据我所知，Yardstick 是 Apache Ignite 的基准工具。

我知道如何运行 Apache Ignite 以及如何设置它的内存容量。（我知道默认是 1 GB）

当我运行 Ignite 时，它​​显示：

[15:37:06] Topology snapshot [ver=1, servers=1, clients=0, CPUs=4, heap=4.0GB]

当我运行 yardstick 对其进行基准测试时，Ignite 显示：

[15:37:06] Topology snapshot [ver=2, servers=1, clients=1, CPUs=4, heap=6.0GB]

那么为什么要增加 2.0GB 呢？我该如何修改它？

另外，这是我所知道的。Apache Ignite 从机器中获取一些内存并使用 Yardstick，它可以像 Ignite 占用的内存中的cache.put()东西一样测试性能。如果正确，则不应将堆从 4.0GB 增加到 6.0GB，因为 Yardstick 可以在内存 (4.0GB) 内进行基准测试

有没有人可以解释一下这个？

考虑这个简单的例子：

我想将其传递tibble给，caret::confusionMatrix以便我一次获得所需的所有指标（accuracy、、recall等）。

如您所见，其中tibble包含计算性能统计信息所需的所有信息。例如，您可以看到在测试数据集中（此处未提供），有 100 个观察值，其中预测标签1与真实标签匹配1。然而，90预测值为 的观察结果1实际上是误报。

我不想手动计算所有指标，而是想求助于caret::confusionMatrix()

然而，事实证明这非常困难。调用confusionMatrix(.)上述tibble方法不起作用。这里有什么解决办法吗？

谢谢！

R当通过 2 个不同的包计算时，我发现使用我正在处理的数据集计算精确召回曲线下面积 (PRAUC) 的不同数值：yardstick和caret.
恐怕我无法用合成数据重现这种不匹配，但只能用我的数据集（这也很奇怪）

为了让这个可重现，我分享了我的模型的预测输出，你可以在这里下载https://drive.google.com/open?id=1LuCcEw-RNRcdz6cg0X5bIEblatxH4Rdz（别担心，这是一个小 csv） .
csv 包含一个具有 4 列的数据框：
yes在类中的概率估计yes
no= 1 -yes
obs实际类标签
pred预测类标签（阈值为 0.5）

下面是生成 PRAUC 的 2 个值的代码

由于计算面积（插值曲线）时的近似值，我可以理解一些差异，但这似乎太高了。

我什至尝试了第三个包，PRROC结果仍然不同，即 0.26 左右。

我正在尝试使用库“标准”生成 ROC 曲线和精确召回曲线。但是，我找不到修改图形形状的方法。这是一个玩具示例。

运行代码时，生成的图形如下所示；

上图（ROC 曲线）是正方形，而下图（精确召回曲线）是矩形。

我试过

• 功能的变化width和height选择pdf

• 更改 ggplot2 支持的不同选项（例如plot.margin使用theme）

但找不到使两个图形具有相同形状的好方法。

我怎样才能统一它们的形状（或形式）？

任何评论将不胜感激。

我想计算模型的 AUC。

此代码有效。

我喜欢指定参数，以便我的代码更易于阅读和调试。

这给出了以下错误

metric_summarizer 中的错误（metric_nm = "roc_auc", metric_fn = roc_auc_vec, : 由多个实际参数匹配的形式参数“估计”

请解释这个错误。我认为 Class1 列是估计类概率的向量。

我编写了以下脚本来将 yardstick 命令的输出存储到变量（输出）中并显示变量的值。

该脚本执行良好，结果显示在控制台中。执行脚本后，我想将以下详细信息存储到变量中。但以下日志详细信息未存储到输出变量中。请帮我解决这个问题？

注意：我能够将 unix 命令的输出放入输出变量中。谁，ls -ltr 等，操作系统：Ubuntu 编程语言：Python Yardstick 命令执行 opnfv 测试用例。代码：

下面提到了来自控制台的信息

在 RStudio 中，我使用usethis::use_travis()TRAVIS CI 和 Github。但是，我的包无法构建，因为yardstick0.0.7 无法构建。

rcmdcheck()请注意，我的包可以使用和本地构建devtools::check()；并且我的包不直接依赖于yardstick，而是依赖于依赖：所以我不能只让我的包依赖于更早的更稳定版本的yardstick.

我被卡住了，不知道如何继续！

是否可以例如在 .travis.yml 文件中指定特定版本yardstick（即使它是依赖项的依赖项）？

（根据 yardstick 网站，该包无法构建https://yardstick.tidymodels.org/；看起来已经这样 5 个月了；https://travis-ci.org/github/tidymodels/yardstick） .

任何帮助深表感谢！约翰

我recipe()在包中使用函数tidymodels来估算缺失值和修复不平衡数据。

这是我的数据；

这是我的代码；

直到这里它都可以正常工作现在我正在使用metric_set()函数来适应每个重采样。

这是我的代码如下：

我收到错误说：

但它在没有准确度参数的情况下工作

有人对如何做到这一点有任何建议吗？非常感谢您的帮助！