我正在构建一个文本解析器来识别包含文本的犯罪类型。我的课程旨在加载 2 个 csv 文件的文本（一个文件用于训练，一个文件用于测试）。它的构建方式我的课程中的方法用于快速处理文本、删除停用词、提取特征向量等。按照下面的代码。
import re
import codecs
import csv
import nltk
import sklearn
from sklearn import cross_validation
import pandas as pd
# variaveis
tweets = []
caracteristicas = []
testBase = []
testset = []
# Tweet pre-processing
def preProcessamentoText(tweet):
# converte para minusculas
tweet = tweet.lower()
# remove URLs (www.* ou https?://*)
tweet = re.sub('((www\.[^\s]+)|(https?://[^\s]+))','URL',tweet)
# remove @username
tweet = re.sub('@[^\s]+','AT_USER',tweet)
# remove multiplos espacos em brancos
tweet = re.sub('[\s]+', ' ', tweet)
# substitui #work por work
tweet = re.sub(r'#([^\s]+)', r'\1', tweet)
# trim
tweet = tweet.strip('\'"')
return tweet
#end
# list of stopWords
def getStopWords(stopWordListFileName):
stopWords = []
stopWords = nltk.corpus.stopwords.words('portuguese')
stopWords.append('AT_USER')
stopWords.append('URL')
fp = codecs.open(stopWordListFileName, encoding='utf-8')
line = fp.readline()
while line:
word = line.strip()
stopWords.append(word)
line = fp.readline()
fp.close()
return stopWords
#end
# Remove repeat letters. Ex.: leeeeento = lento
def removeRepeticao(s):
pattern = re.compile(r"(.)\1{1,}", re.DOTALL)
return pattern.sub(r"\1\1", s)
#end
# Feature vector
def getVetorCaracteristicas(tweet):
featureVector = []
stopWords = getStopWords('data/stopwords_pt-BR.txt')
words = tweet.split()
for w in words:
# remove letras repetidas
w = removeRepeticao(w)
# remove sinais de pontuacao
w = w.strip('\'"?,.')
# verifica se a palavra inicia com numero
val = re.search(r"^[a-zA-Z][a-zA-Z0-9]*$", w)
# não adiciona se a palavra já existe na lista
# ou se a palavra começa com número
# ou tem tamanha menos que 2
if(w in stopWords or val is None or len(w) <= 2):
continue
else:
featureVector.append(w.lower())
return featureVector
#end
#load trainset
def carregarTextos():
global caracteristicas
inpTexts = csv.reader(open('data/baseTreino.csv', 'rb'), delimiter=',', quotechar='|')
for row in inpTexts:
#print row
sentimento = row[0]
tweet = row[1]
textoProcessado = preProcessamentoText(tweet)
vetorCaracteristicas = getVetorCaracteristicas(textoProcessado)
caracteristicas.extend(vetorCaracteristicas)
tweets.append((vetorCaracteristicas,sentimento))
#print tweets
#end loop
# remove entradas duplicadas
caracteristicas = list(set(caracteristicas))
#load testSet
def test_set():
global testBase
#Lendo o conjunto de testes
testTexts = csv.reader(open('data/baseTestes.csv', 'rb'), delimiter=',', quotechar='|')
for row in testTexts:
#print row
sentimento = row[0]
tweet = row[1]
textoProcessado = preProcessamentoText(tweet)
vetorCaracteristicas = getVetorCaracteristicas(textoProcessado)
testBase.extend(vetorCaracteristicas)
testset.append((vetorCaracteristicas,sentimento))
#print testset
testBase = list(set(testBase))
#Extraction of characteristics
def extracaoCaracteristicas(tweet):
#print tweet
palavras = set(tweet)
lista = {}
for palavra in caracteristicas:
lista['contains(%s)' % palavra] = (palavra in palavras)
#end loop
return lista
#Method to classify the text according to the feeling
def classificaTexto(tweet):
textoProcessado = preProcessamentoText(tweet)
result = NBClassifier.classify(extracaoCaracteristicas(getVetorCaracteristicas(textoProcessado)))
#print result
if (result == 4) :
print 'Crime não categorizado - ' + tweet
elif (result == 1):
print 'Roubo - ' + tweet
elif(result == 2):
print 'Homicídio - ' + tweet
elif(result== 3):
print 'Tráfico - ' + tweet
else :
print 'Não representa um crime - ' + tweet
# Main function
if __name__ == '__main__':
#load the 2 set (train and test)
carregarTextos()
test_set()
# Extract the feature vector of all tweets in one go
conjuntoTreino = nltk.classify.util.apply_features(extracaoCaracteristicas, tweets)
conjuntoTeste = nltk.classify.util.apply_features(extracaoCaracteristicas,testset)
# Train the classifier
#NBClassifier = nltk.NaiveBayesClassifier.train(conjuntoTreino)
#print 'accuracy:', (nltk.classify.util.accuracy(NBClassifier, conjuntoTeste))
#CrossValidation - Using ScikitLearn and NLTK
cv = cross_validation.KFold(len(conjuntoTreino), n_folds=10, shuffle=False, random_state=None)
for traincv, testcv in cv:
classifier = nltk.NaiveBayesClassifier.train(conjuntoTreino[traincv[0]:traincv[len(traincv)-1]])
print 'accuracy:', nltk.classify.util.accuracy(classifier, conjuntoTreino[testcv[0]:testcv[len(testcv)-1]])
在 Main 上，我使用了普通的朴素贝叶斯并查看了它们的准确性，然后使用了带有交叉验证的朴素贝叶斯并查看了它们的准确性。现在我想测试已经在包含测试文本的 CSV 上训练的朴素贝叶斯。以防万一，在测试的基础上测试排序。
我的方法def classificaTexto(tweet):。这只是为了完成这项工作，但我什至无法将它与已经训练过的分类器一起使用。如果我创建一个文本为
texto1 = 'Enviado por um seguidor: Carro roubado no conjunto Augusto Franco'
classificaTexto(texto1)
该方法将完成其工作和排序。
附加信息：我的 csv 是这样形成的。一个例子：其中文字前面的数字代表犯罪团队。这样做是为了可以使用该方法def classificaTexto(tweet):
|1|,|Enviado por um seguidor :Exclusivo.Bom dia.2 caras vestidos de palhaços ontem a noite roubaram as armas dos guardas municipais que faziam a segurança do posto médico aqui no bairro Coroa do Meio!! Polícia nas ruas a procura dos marginais !!! Surreal isso...|,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|2|,|Enviado por um seguidor :Segundo informações acaba de acontecer um homicídio na cidade de Malhador no povoado Boqueval \,vítima de pré nome Ronaldo.|,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,