machine-learning - 选择正则化参数

Question

应用正则化逻辑回归时：我将数据分为训练集、交叉验证集和测试集。我想应用正则化并正在选择正则化参数 lambda。为此，我尝试了不同的 lambda 值，并将我的假设的参数 theta 拟合到训练集上。然后，我选择在验证集上给我最低成本函数的 lambda 值。为此，我应该使用惩罚项还是不使用惩罚项来计算验证集的成本函数？

Answer 1

这是混淆了两件事。您最小化成本函数（带有正则化项）以选择模型参数（对于给定的超参数，如 lambda）。但是随后这些参数可以让您对验证集中的点进行分类。并且您测量分类与基本事实的匹配程度。您选择给出最正确答案的 lambda。带有 lambda 的成本函数在那个阶段不起作用。

Answer 2

你可以画出学习曲线，训练和验证误差都收敛到一个很小的值，并选择与最小误差对应的参数作为正则化参数。

正则化参数的选择与代价函数值无关。