3

希望我在这里忽略了一些愚蠢的事情，或者我不明白这是如何工作的......

我有一个 nlp 管道，它基本上执行以下操作：

rf_pipeline = Pipeline([
('vect', TfidfVectorizer(tokenizer = spacy_tokenizer)),
('fit', RandomForestClassifier())
])

我运行它：

clf = rf_pipeline.fit(X_train, y_train)
preds = clf.predict(X_test)

当我优化时，我通过以下方式获得了 90 年代的准确度：

confusion_matrix(y_test, preds)
accuracy_score(y_test, preds)
precision_score(y_test, preds)

TfidfVectorizer 是我计算的瓶颈，所以我想打破管道。运行矢量化器，然后在分类器上进行网格搜索，而不是在整个管道上运行它。这是我如何打破它：

# initialize
tfidf = TfidfVectorizer(tokenizer = spacy_tokenizer)
# transform and fit
vect = tfidf.fit_transform(X_train)
clf = rf_class.fit(vect, y_train)
# predict
clf.predict(tfidf.fit_transform(X_test))

当我在运行完整的网格搜索之前查看准确性时，它已经暴跌到刚刚超过 50%。当我尝试增加树的数量时，分数下降了近 10%。

有任何想法吗？

4

1 回答 1

3

对于测试集，您不能调用fit_transform(), 而只是transform()，否则 tfidf 向量的元素具有不同的含义。

尝试这个

# predict
clf.predict(tfidf.transform(X_test))
于 2018-11-12T05:04:02.923 回答