14

我正在努力在 Python 中使用 Scikit learn 中的随机森林。我的问题是我将它用于文本分类（在 3 个类中 - 正/负/中性）并且我提取的特征主要是单词/unigrams，所以我需要将这些转换为数字特征。我找到了一种方法来做到这一点DictVectorizer's fit_transform：

from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer

vec = DictVectorizer(sparse=False)
rf = RandomForestClassifier(n_estimators = 100)
trainFeatures1 = vec.fit_transform(trainFeatures)

# Fit the training data to the training output and create the decision trees
rf = rf.fit(trainFeatures1.toarray(), LabelEncoder().fit_transform(trainLabels))

testFeatures1 = vec.fit_transform(testFeatures)
# Take the same decision trees and run on the test data
Output = rf.score(testFeatures1.toarray(), LabelEncoder().fit_transform(testLabels))

print "accuracy: " + str(Output)

我的问题是该fit_transform方法正在处理包含大约 8000 个实例的训练数据集，但是当我尝试将我的测试集也转换为数字特征（大约 80000 个实例）时，我收到一个内存错误说：

testFeatures1 = vec.fit_transform(testFeatures)
File "C:\Python27\lib\site-packages\sklearn\feature_extraction\dict_vectorizer.py", line 143, in fit_transform
return self.transform(X)
File "C:\Python27\lib\site-packages\sklearn\feature_extraction\dict_vectorizer.py", line 251, in transform
Xa = np.zeros((len(X), len(vocab)), dtype=dtype)
MemoryError

什么可能导致这种情况，是否有任何解决方法？非常感谢！

4

1 回答 1

15

你不应该fit_transform对你的测试数据做，而只是transform. 否则，您将获得与训练期间使用的向量化不同的向量化。

对于内存问题，我推荐TfIdfVectorizer，它有许多降低维度的选项（通过删除稀有的一元组等）。

更新

如果唯一的问题是拟合测试数据，只需将其拆分为小块。而不是像

x=vect.transform(test)
eval(x)

你可以做

K=10
for i in range(K):
    size=len(test)/K
    x=vect.transform(test[ i*size : (i+1)*size ])
    eval(x)

并记录结果/统计数据并在之后进行分析。

尤其是

predictions = []

K=10
for i in range(K):
    size=len(test)/K
    x=vect.transform(test[ i*size : (i+1)*size ])
    predictions += rf.predict(x) # assuming it retuns a list of labels, otherwise - convert it to list

print accuracy_score( predictions, true_labels )
于 2014-02-25T06:50:07.300 回答