2

我想评估几个回归模型的性能并使用yardstick包来计算 RMSE。这是一些示例数据

  model obs pred
1     A   1    1
2     B   1    2
3     C   1    3

当我运行以下代码时

library(yardstick)
library(dplyr)
dat %>%
 group_by(model) %>%
 summarise(RMSE = yardstick::rmse(truth = obs, estimate = pred))

我收到以下错误

summarise_impl(.data, dots) 中的错误：没有适用于“rmse”的方法应用于“c('double','numeric')”类的对象。

但是，当我明确提供.作为第一个参数时（我认为这不是必需的），我没有收到错误，但结果不正确。

dat %>%
 group_by(model) %>%
 summarise(RMSE = yardstick::rmse(., truth = obs, estimate = pred))
# A tibble: 3 x 2
  model   RMSE
  <fctr> <dbl>
1 A       1.29
2 B       1.29
3 C       1.29

我期待以下

# A tibble: 3 x 2
  model   RMSE
  <fctr> <dbl>
1 A       0
2 B       1.00
3 C       2.00

我知道这个功能有替代品，但我仍然不明白这种行为。

数据

dat <- structure(list(model = structure(1:3, .Label = c("A", "B", "C"), class = "factor"), obs = c(1, 1, 1), pred = 1:3), .Names = c("model", "obs", "pred"), row.names = c(NA, -3L), class = "data.frame")
4

2 回答 2

3

我们可以使用该do函数将rmse函数应用于每个组。

dat %>%
  group_by(model) %>%
  do(data_frame(model = .$model[1], obs = .$obs[1], pred = .$pred[1], 
     RMSE = yardstick::rmse(., truth = obs, estimate = pred)))
# # A tibble: 3 x 4
# # Groups: model [3]
# model    obs  pred  RMSE
#  <fctr> <dbl> <int> <dbl>
# 1 A       1.00     1  0   
# 2 B       1.00     2  1.00
# 3 C       1.00     3  2.00

或者我们可以拆分数据框并应用rmse函数。

dat %>%
  mutate(RMSE = dat %>%
           split(.$model) %>%
           sapply(yardstick::rmse, truth = obs, estimate = pred))
#   model obs pred RMSE
# 1     A   1    1    0
# 2     B   1    2    1
# 3     C   1    3    2

或者我们可以将obsandpred列嵌套到列表列中，然后应用该rmse函数。

library(tidyr)

dat %>%
  nest(obs, pred) %>%
  mutate(RMSE = sapply(data, yardstick::rmse, truth = obs, estimate = pred)) %>%
  unnest()
#   model RMSE obs pred
# 1     A    0   1    1
# 2     B    1   1    2
# 3     C    2   1    3

这三种方法的输出略有不同，但都包含正确的 RMSE 计算。这里我使用microbenchmark包进行性能评估。

library(microbenchmark)

microbenchmark(m1 = {dat %>%
    group_by(model) %>%
    do(data_frame(model = .$model[1], obs = .$obs[1], pred = .$pred[1], 
                  RMSE = yardstick::rmse(., truth = obs, estimate = pred)))},
    m2 = {dat %>%
        mutate(RMSE = dat %>%
                 split(.$model) %>%
                 sapply(yardstick::rmse, truth = obs, estimate = pred))},
    m3 = {dat %>%
        nest(obs, pred) %>%
        mutate(RMSE = sapply(data, yardstick::rmse, truth = obs, estimate = pred)) %>%
        unnest()})

# Unit: milliseconds
# expr      min       lq     mean   median       uq       max neval
#   m1 43.18746 46.71055 50.23383 48.46554 51.05639 174.46371   100
#   m2 14.08516 14.78093 16.14605 15.74505 16.89936  24.02136   100
#   m3 28.99795 30.90407 32.71092 31.89954 33.94729  44.57953   100

结果显示m2最快，而m1最慢。我认为这意味着do操作通常比其他方法慢，所以如果可能的话，我们应该避免do操作。虽然m2是最快的，但我个人喜欢m3最好的语法。嵌套数据框将使我们能够轻松地汇总不同模型或不同组之间的信息。

于 2018-01-06T22:21:42.163 回答
3

根据帮助页面?yardstick::rmse，它看起来需要一个数据框作为它的第一个参数，这解释了您遇到的错误。

我不太了解那个新包，但似乎该函数希望计算跨数据框的汇总统计，而不是逐行计算。要强制它逐行运行，您需要让它认为每一行都是它自己的数据帧，并在每个数据帧中应用该函数：

library(tidyverse)
dat %>%
  group_by(model) %>%
  nest() %>% 
  mutate(rmse_res = map(data, rmse, truth = obs, estimate = pred)) %>% 
  unnest(rmse_res)

# A tibble: 3 x 3
  model  data              rmse
  <fctr> <list>           <dbl>
1 A      <tibble [1 x 2]>  0   
2 B      <tibble [1 x 2]>  1.00
3 C      <tibble [1 x 2]>  2.00
于 2018-01-06T22:12:57.553 回答