10

我正在使用 Scikit-Learn (sklearn) 使用一对多的逻辑回归分类器。我有一个大型数据集，它太慢而无法一次性运行；我还想随着培训的进行研究学习曲线。

我想使用批量梯度下降来批量训练我的分类器，比如 500 个样本。有什么方法可以使用 sklearn 来做到这一点，还是我应该放弃 sklearn 并“自己动手”？

这是我到目前为止所拥有的：

from sklearn.linear_model import LogisticRegression
from sklearn.multiclass import OneVsRestClassifier

# xs are subsets of my training data, ys are ground truth for same; I have more 
# data available for further training and cross-validation:
xs.shape, ys.shape
# => ((500, 784), (500))
lr = OneVsRestClassifier(LogisticRegression())
lr.fit(xs, ys)
lr.predict(xs[0,:])
# => [ 1.]
ys[0]
# => 1.0

即它正确地识别了一个训练样本（是的，我意识到用新数据评估它会更好——这只是一个快速的烟雾测试）。

重新批量梯度下降：我还没有创建学习曲线，但是可以简单地fit在训练数据的后续子集上重复运行吗？还是有其他功能可以批量训练？文档和谷歌对此事相当沉默。谢谢！

4

1 回答 1

25

你想要的不是批量梯度下降，而是随机梯度下降；批量学习意味着一次性学习整个训练集，而您所描述的正确称为小批量学习。这是在 中实现的sklearn.linear_model.SGDClassifier，如果您给它选项，它适合逻辑回归模型loss="log"。

与SGDClassifier一样LogisticRegression，没有必要将估计器包装在一个OneVsRestClassifier开箱即用的一对多训练中。

# you'll have to set a few other options to get good estimates,
# in particular n_iterations, but this should get you going
lr = SGDClassifier(loss="log")

然后，要在小批量上进行训练，请使用该partial_fit方法而不是fit. 第一次，你必须给它一个类列表，因为不是所有的类都可能出现在每个小批量中：

import numpy as np
classes = np.unique(["ham", "spam", "eggs"])

for xs, ys in minibatches:
    lr.partial_fit(xs, ys, classes=classes)

（在这里，我classes为每个 minibatch 传递，这不是必需的，但也不会伤害并且使代码更短。）

于 2013-02-23T11:32:37.110 回答