4

我正在创建一个GridSearchCV分类器

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])

parameters= {}

gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

这很好用，我可以预测。但是，现在我想重新训练分类器。为此，我想做fit_transform()一些反馈数据。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但我得到这个错误

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我正在尝试fit_transform()分类器的内部TfidfVectorizer。我知道我可以使用该属性访问Pipeline的内部组件。named_steps我可以做类似的事情gridSearchClassifier吗？

4

2 回答 2

4

一步一步地给他们打电话。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform只不过是这两行代码，根本没有作为GridSearchCV.

更新

从评论看来，您似乎对 GridSearchCV 的实际作用有些迷茫。这是一种拟合具有多个超参数的模型的元方法。因此，一旦您调用，您就会在对象的字段fit内获得一个估算器。best_estimator_在你的情况下 - 它是一个管道，你可以像往常一样提取它的任何部分，因此

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

你不应该使用gridsearchcv 作为分类器，这只是一种拟合超参数的方法，一旦你找到它们，你应该使用它们best_estimator_。但是，请记住，如果您重新安装 TFIDF 矢量化器，那么您的分类器将毫无用处；您不能更改数据表示并期望旧模型运行良好，一旦数据更改，您必须重新调整整个分类器（除非这是经过精心设计的更改，并且您确保旧维度的含义完全相同 - sklearn 不支持此类操作，你必须从头开始实现它）。

于 2015-12-31T15:51:36.927 回答
2

@lejot 是正确的，您应该调用fit().gridSearchClassifier

提供refit=True是在 上设置的GridSearchCV，这是默认设置，您可以best_estimator_在安装上访问gridSearchClassifier。

您可以访问已安装的步骤：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后，您可以new_X使用以下方法转换新文本：

X_vec = tfidf.transform(new_X)

您可以使用以下方法进行预测X_vec：

x_pred = clf.predict(X_vec)

您还可以对贯穿整个管道的文本进行预测。

X_pred = gridSearchClassifier.predict(new_X)
于 2015-12-31T16:01:25.773 回答