我正在使用 pickle 保存具有贝叶斯定理的分类模型,我在分类后保存了一个 2.1 GB 的文件,其中包含 5600 条记录。但是当我加载该文件时,它需要将近 2 分钟,但对一些文本进行分类需要 5.5 分钟。我正在使用以下代码来加载它并进行分类。
classifierPickle = pickle.load(open( "classifier.pickle", "rb" ) )
classifierPickle.classify("want to go some beatifull work place"))
第一行用于加载 pickle 对象,第二行用于对文本进行分类,结果是它是哪个主题(类别)。我正在使用以下代码来保存模型。
file = open('C:/burberry_model/classifier.pickle','wb')
pickle.dump(object,file,-1)
我在 textblob 中使用的所有东西。环境是 Windows,28GB RAM,四核 CPU。如果有人能解决这个问题,那将非常有帮助。