0

这是我的代码，我想导入一个 CSV 文件，并且只标记一列中的文本。该列名为“tweet”。我无法获得此代码的输出

import nltk
import pandas as pd
import numpy

from nltk import sent_tokenize
from nltk import word_tokenize
from nltk import pos_tag


data = pd.read_csv('/Users/yoshithKotla/Desktop/dingdang/finaldid.csv')

Texts = list(data['tweet'].values)

tokenData = [nltk.word_tokenize(tweet) for tweet in Texts]
4

1 回答 1

0

NLTK 数据包包括一个预训练的英语 Punkt 分词器。用这个

nltk.download('朋克')

于 2021-04-08T04:18:16.057 回答