python - python中机器学习库（例如scikit）中的非对称正则化

Question

这个问题需要我在训练线性分类器时调整所选特征的权重。我正在使用 python SKlearn。

在谷歌上搜索了很多关于在 SKlearn 中为分类器加入非对称正则化的信息后，我找不到任何解决方案。执行此任务的核心库函数作为 Windows 的 DLL 提供，因此无法修改现有库。

是否有任何具有这种灵活性的 Python 机器学习库？任何形式的帮助将不胜感激。

Answer 1

要修改库，您必须下载源代码（例如，从项目的 github 存储库：https ://github.com/scikit-learn/scikit-learn ），然后安装构建要求（例如，用于您的平台）。

以下是 Windows 的构建说明：

• http://scikit-learn.org/dev/install.html#building-on-windows

Answer 2

根据您拥有的数据量和您想要使用的分类器，如果您有大量数据，则可能更容易实现损失，然后使用 lbfgs 或 newton 等标准求解器，或者进行随机梯度下降。

使用简单的自定义求解器很可能比使用 scikit-learn 代码慢得多，但它也更容易编写。例如，特别是如果您在逻辑回归之后，您将需要深入研究 LibLinear C 代码。另一方面，我很确定您可以使用 lbfgs 以未优化的方式在大约 10 行 python 中实现它。