1 
text = "XXXXXX，XXXX “XX” ， XXXXX 50 XX 、 XXXXXXXXX、XXXXXXXXXXXXXXXXXXX"

zh_nlp = stanza.Pipeline('zh')
doc = zh_nlp(text)

for sent in doc.sentences:
  print("Tokenize:" + ' '.join(token.text for token in sent.tokens))

如果以中文输入，则节能够分隔文本（中文严重依赖于标记化和句子分割）。它输出以下内容。大致是这样划分的。

Tokenize:XXX XX X ， X X XX “ XX ” ， X X X XX 50 X X 、 XXX XXXX XX 、 X X XX XX X XX XX XX X XX XX X 。

如果输出为英文，则以英文单词空间分隔。

text = "Hong Kong"

en_nlp = stanza.Pipeline('en')
doc = en_nlp(text)

for sent in doc.sentences:
  for Tokenize in sent.tokens:
    print(Tokenize)

例如，如果输入程序是“香港”，则输出将如下所示。

[
  {
    "id": 1,
    "text": "Hong",
    .......
  }
]
[
  {
    "id": 2,
    "text": "Kong",
    .......
  }
]
4

0 回答 0