我正在尝试使用 python 和textblob构建文本分类模型,该脚本在我的服务器上运行,将来的想法是用户将能够提交他们的文本并将其分类。我正在从 csv 加载训练集:
# -*- coding: utf-8 -*-
import sys
import codecs
sys.stdout = open('yyyyyyyyy.txt',"w");
from nltk.tokenize import word_tokenize
from textblob.classifiers import NaiveBayesClassifier
with open('file.csv', 'r', encoding='latin-1') as fp:
cl = NaiveBayesClassifier(fp, format="csv")
print(cl.classify("some text"))
csv 大约有 500 行长(字符串在 10 到 100 个字符之间),NaiveBayesclassifier 需要大约 2 分钟的时间进行训练,然后才能对我的文本进行分类(不确定它需要这么多时间是否正常,也许是我的服务器很慢只有 512mb 内存)。
csv 行示例:
"Oggi alla Camera con la Fondazione Italia-Usa abbiamo consegnato a 140 studenti laureati con 110 e 110 lode i diplomi del Master in Marketing Comunicazione e Made in Italy.",FI-PDL
我不清楚,我无法在 textblob 文档上找到答案,是否有办法“保存”我训练有素的分类器(这样可以节省很多时间),因为现在每次我运行脚本时它都会训练再次分类器。我是文本分类和机器学习的新手,所以如果这是一个愚蠢的问题,我深表歉意。
提前致谢。