问题标签 [cross-validation]

我有一个包含 100 个样本（行）和 10000 个独立特征（列）的矩阵 (x)。观察结果是二元的，样本是好的还是坏的 {0,1}（存储在向量 y 中）。我想执行遗漏交叉验证并分别确定每个功能的曲线下面积（AUC）（类似于 CAtools 包中的 colAUC）。我尝试使用 glmnet，但它不起作用。正如手册中所说，我尝试将 nfold 参数设置为等于观察次数（100）。

我收到了这些警告：

任何想法我做错了什么？是否有任何其他方式或 R 包来获得每个特征的 LOO 平衡 AUC 值？

我会非常感谢任何帮助。谢谢！

我是 R 新手，一直在尝试使用以下代码（感谢 stackoverflow）来交叉验证 MARS 回归。执行代码时出现错误。

除了上面的问题，有没有办法打印交叉验证的所有结果？

如果有人可以提供帮助，我将不胜感激。

这可能是一个愚蠢的问题，但我只是找不到一个包来做到这一点......我知道我可以编写一些代码来获得我想要的东西，但如果有一个自动执行它的功能会很好！

所以基本上我想对 glm 模型进行 k 折交叉验证。我想自动获得每个验证集的预测和实际值。因此，如果我正在做一个 10 倍的 CV，我想要一个函数来返回 10 个验证集以及实际响应和预测。

先感谢您！

我使用glm()（带有偏移的泊松链接，例如

响应是y/x1在这种情况下）。

然后我想使用caret包进行交叉验证，所以我使用了带有k - fold CV 控制的“train()”函数。事实证明，我拥有的 2 个模型非常不同。似乎train()无法处理offset：我将变量更改offset为offset(log(log(x1))or offset(log(sqrt(x1))，模型保持不变。

有没有人有过这样的经历，你是怎么处理的？谢谢！

顺便说一句，我想保存每个验证集的预测到目前为止我只知道插入符号可以做到这一点，这就是我没有选择使用 cv.glm 的原因。

我正在使用 R 的 e1071 (svm) 包。如果我为cross构建器方法提供参数，它会交叉验证并选择最佳模型。但是，如果我手动进行交叉验证，我将获得为每个折叠构建的所有模型的准确率。有没有办法通过 e1071 包获得所选模型的准确率？

我在 Matlab 中的 K 折交叉验证有问题，实际上我使用了这里提到的函数。问题是每次运行程序时都会得到不同的 Cp 值。我使用该函数来执行特征选择过程，因此我每次都会获得不同的子集特征。您能帮我找到解决方案或找出问题的根源吗？

我正在尝试通过使用交叉验证的网格参数搜索来优化 scikit-learn 中的逻辑回归函数，但我似乎无法实现它。

它说逻辑回归没有实现 get_params() 但在文档上它说它确实。我该如何根据我的基本事实优化此功能？

如何使用 Weka API 通过 10 倍交叉验证来制作分类模型？我问这个，因为每次交叉验证的运行都会创建一个新的分类模型。我应该在测试数据中使用哪种分类模型？

不确定到底出了什么问题。但是，我的目标是建立一个交叉验证的 python 代码。我知道有各种指标，但我认为我使用的是正确的指标。我没有得到我想要的 CV10 结果，而是收到一个错误：

“标量变量的索引无效”

我在 StackOverflow 上发现了这一点： IndexError: invalid index to scalar variable 当您尝试索引 numpy 标量（例如 numpy.int64 或 numpy.float64）时发生。它与 TypeError 非常相似：'int' object has no attribute '_ getitem _' 当您尝试索引 int 时。

任何帮助，将不胜感激...

我正在尝试关注 :: http://scikit-learn.org/stable/modules/model_evaluation.html

简单来说，交叉验证和网格搜索有什么区别？网格搜索如何工作？我应该先进行交叉验证，然后再进行网格搜索吗？