0

我为 PassiveAgressive 分类器训练了一个 Tfidf-Vectorizer 并对其进行了测试，一切正常。然后我保存了拟合的矢量化器和训练好的分类器供以后使用。当我再次加载矢量化器时，我在其上转换了一个新数据集（因为我想用分类器对看不见的数据进行分类）并尝试预测新数据集。当我运行代码时，我得到：

ValueError: X has 1375913 features per sample; expecting 1373084

这是我用来获取矢量化器和分类器的代码：

X_train, X_test, y_train, y_test = train_test_split(df['Processed_text'], y, test_size=0.2)
tfidf_vectorizer = TfidfVectorizer()
tfidf_train = tfidf_vectorizer.fit_transform(X_train)
with open('vectorizer.pkl', 'wb') as fin:
    pickle.dump(tfidf_vectorizer, fin)
tfidf_test = tfidf_vectorizer.transform(X_test)
linear_clf = PassiveAggressiveClassifier(n_iter=50)
linear_clf.fit(tfidf_train, y_train)
pred = linear_clf.predict(tfidf_test)
with open('topic_classifier.pkl', 'wb') as fid:
    pickle.dump(linear_clf, fid)

这就是我再次打开并使用它的方式：

classifier = pickle.load(open('topic_classifier.pkl', 'rb'))
vectorizer = pickle.load(open('vectorizer.pkl', 'rb'))
tfidf_vectorizer = vectorizer
tfidf_articles = tfidf_vectorizer.transform(texts)
topics = classifier.predict(tfidf_articles)

我还再次检查了我训练分类器的文件并查看了词汇的长度并得到了 

len(tfidf_vectorizer.vocabulary_)
1371569

所以还有一个数字......我真的不知道这里出了什么问题。我处理了训练/测试数据集的文本以及在以完全相同的方式再次加载所有内容后需要分类的文本，所以我认为这与我提供给矢量化器的输入无关。当我在应用程序中同时使用这两种方法时，我无法再次安装矢量化器或再次训练分类器 - 所以它需要以某种方式与保存的版本一起使用。

4

1 回答 1

0

在一次又一次地检查所有内容后，发现使用 pickle.dump 保存矢量化器和分类器存在一些问题。当我同时使用 joblib.dump/load 时，它就像一个魅力！显然在这里使用pickle进行数据持久性不是一个好主意！

于 2018-03-20T22:00:45.020 回答