5

我注意到在训练时在插入符号中使用公式和非公式方法会产生不同的结果。此外，公式法所用时间几乎是非公式法所用时间的 10 倍。这是预期的吗？

> z <- data.table(c1=sample(1:1000,1000, replace=T), c2=as.factor(sample(LETTERS, 1000, replace=T)))

# SYSTEM TIME WITH FORMULA METHOD
# -------------------------------

> system.time(r <- train(c1 ~ ., z, method="rf", importance=T))
   user  system elapsed
376.233   9.241  18.190

> r
1000 samples
   1 predictors

No pre-processing
Resampling: Bootstrap (25 reps)

Summary of sample sizes: 1000, 1000, 1000, 1000, 1000, 1000, ...

Resampling results across tuning parameters:

  mtry  RMSE  Rsquared  RMSE SD  Rsquared SD
  2     295   0.00114   4.94     0.00154
  13    300   0.00113   5.15     0.00151
  25    300   0.00111   5.16     0.00146

RMSE was used to select the optimal model using  the smallest value.
The final value used for the model was mtry = 2.


# SYSTEM TIME WITH NON-FORMULA METHOD
# -------------------------------

> system.time(r <- train(z[,2,with=F], z$c1, method="rf", importance=T))
       user  system elapsed
     34.984   2.977   2.708
    Warning message:
    In randomForest.default(trainX, trainY, mtry = tuneValue$.mtry,  :
  invalid mtry: reset to within valid range
> r
1000 samples
   1 predictors

No pre-processing
Resampling: Bootstrap (25 reps)

Summary of sample sizes: 1000, 1000, 1000, 1000, 1000, 1000, ...

Resampling results

  RMSE  Rsquared  RMSE SD  Rsquared SD
  297   0.00152   6.67     0.00197

Tuning parameter 'mtry' was held constant at a value of 2
4

1 回答 1

18

您有一个具有中等数量级别的分类预测变量。当您使用公式接口时，大多数建模函数（包括train、lm、glm等）在内部运行model.matrix以处理数据集。这将从任何因子变量创建虚拟变量。非公式接口没有[1]。

当您使用虚拟变量时，在任何拆分中只使用一个因子水平。树方法以不同的方式处理分类预测变量，但是当不使用虚拟变量时，随机森林将根据结果对因子预测变量进行排序，并找到因子水平的 2 向拆分 [2]。这需要更多时间。

最大限度

[1] 我讨厌成为那些说“在我的书中我展示......”的人之一，但在这种情况下，我会的。图 14.2 很好地说明了 CART 树的这个过程。

[2] 上帝，我又来了。14.1 节讨论了树木因子的不同表示，14.7 节显示了一个数据集的两种方法之间的比较

于 2014-03-05T17:35:36.143 回答