我写了一段简单的代码来看看 span_tokenize 函数是如何工作的。这方面的文档可以在这里找到:http
://www.nltk.org/api/nltk.tokenize.html
这是我的一段代码
import nltk
from nltk.tokenize.api import StringTokenizer
sample = StringTokenizer()
sample.span_tokenize("Hulk is Boss")
输出如下:
<generator object StringTokenizer.span_tokenize at 0x113a7b258>
从 nltk 文档中可以看出,当预期输出为 tuple(int,int) 时,我无法理解为什么我将生成器对象作为输出
向正确方向轻推表示赞赏!