问题标签 [k-fold]

模型如下：

问题：

1) 数据为921rows x 10166columns。每行都是一个观察值（前 10080 列是时间序列，其余列是其他统计特征）。根据模型，输入数据是随机拆分的inputs_1吗？inputs_2

2）我正在考虑进行 kfold 交叉验证并将输入数据拆分为inputs_1and inputs_2。有什么好方法可以做到这一点？谢谢

当我使用 10 折交叉验证运行此处理时，预测结果与标签数据完全相反，我得到零准确度。我无法解决为什么会这样？

使用与数据集相比太小的 K 值会产生什么后果？

假设我们使用 GridSearch 调整 SVM，如下所示：

然后，您希望在cross_val_score. 我的问题是，目前是哪种型号grid？它是表现最好的吗？换句话说，我们能不能做

或者我们应该使用

当我同时运行两者时，我发现它们返回的分数不同，所以我很好奇这里的正确方法是什么。（我会假设使用best_estimator_。）不过，这引发了另一个问题，即： 那么，使用 just griduse 作为模型是什么？第一个？

我有这段代码，我想对所有折叠（测试和训练）应用 10 折交叉验证，下面的代码仅适用于一折。如何为所有折叠编写一个循环（9 折用于训练，1 折用于测试，循环用于所有折叠）？

此代码没有任何错误，但仅针对（测试为 1 倍，训练为 9 倍）应用了 10 倍交叉验证。

我有相当少量的数据，所以我决定尝试交叉验证，以便获得所有数据的预测。像这样：

据我了解，这样做每次都会训练一个新模型（总共 9 次）。但是，如果是这种情况，那么我的损失输出就没有意义了：

顶部的灰色曲线是第一次迭代，它从接近 1 开始，然后下降。随后的迭代都显着降低。

我想了解我在这里做错了什么——我想全面训练新网络 9 次，然后每次都得到预测。

如果交叉验证在训练数据上训练我们的模型 k 次，那么为什么我们需要 fit 方法。

当我使用下面的代码

我需要使用 .fit 才能使用 .predict。但为什么 ？当交叉验证已经在训练数据上训练我的模型时。

我读了很多书，对k-folds有点困惑。我理解它背后的概念，但我不确定如何部署它。

我在数据探索之后看到的通常步骤是train_test_split，对训练集进行编码和缩放fit_transform，并在测试哪些算法有效之前拟合测试集。之后他们调整超参数。

因此，如果我现在要使用 k-folds，我是否应该避免使用 train_test_split？我们在哪些地方使用 k 折叠？

谢谢！

下面是执行以下操作的 R 代码： 1. 为线性回归生成数据（4 个预测变量，多元正态数据，基于相关矩阵） 2. 使用插入符号运行 10 倍交叉验证，提供汇总 R2 结果 *3。将所有折叠的预测值与实际值相关联，然后将其平方以获得交叉验证的 R2——这是下面代码中的变量“ar2”。

*所以我的问题是上面的#3：为什么插入符号不只计算这个？相反，它报告每个折叠内的 R2，解释折叠间 R2 的可变性等。但如果我想知道基于交叉折叠的整体样本外预测，似乎上面的#3 更直接。

我想更清楚地了解 kfold以及在将其作为交叉验证方法实施后如何选择最佳模型。

根据这个来源：https://machinelearningmastery.com/k-fold-cross-validation/进行kfold的步骤是：

1. 随机打乱数据集
2. 将数据集拆分为 k 个组

3. 对于每个唯一组：

   • 将组作为保留或测试数据集

   • 将剩余的组作为训练数据集

   • 在训练集上拟合模型并在测试集上对其进行评估

   • 保留评估分数并丢弃模型

4.使用模型评估分数的样本总结模型的技能

但是，我有一个关于这个过程的问题。

保留评估分数 并丢弃模型应该是什么意思？你怎么做呢？

经过我的研究，我相信它可能与 sklearn 方法有关cross_val_score()，但是当我尝试实现它时，通过将 my 传递model给它，它会引发下一个错误：

文件“D:\ProgramData\Miniconda3\envs\Env_DLexp1\lib\site-packages\joblib\parallel.py”，第 797 行，dispatch_one_batch 任务 = self._ready_batches.get(block=False) _queue.Empty

在处理上述异常的过程中，又出现了一个异常：

根据文档https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html，第一个参数cross_val_score()必须是估计器，他们将其定义为“实现‘拟合’的估计器对象。用于拟合数据的对象。”

因此，我无法理解异常。

这是我的代码的相关部分：

我将不胜感激您能给我的任何帮助。请考虑到我不是数据科学家或开发人员。