nlp - 在 POS 标记中对以下单词进行分类的最佳方法是什么？

Question

我正在做 POS 标记。给定训练集中的以下标记，最好将每个标记视为 Word1/POStag 和 Word2/POStag 还是将它们视为一个单词 Word1/Word2/POStag ？

示例：（不需要包含 POSTag）

Bard/EMS
Interstate/Johnson
Polo/Ralph
IBC/Donoghue
ISC/Bunker
Bendix/King
mystery/comedy
Jeep/Eagle
B/T
Hawaiian/Japanese
IBM/PC
Princeton/Newport
editing/electronic
Heller/Breene
Davis/Zweig
Fleet/Norstar
a/k/a
1/2

任何建议表示赞赏。

Answer 1

就斜杠的使用而言，这些示例似乎不属于一个类别——a/k/a是短语的首字母缩写词，1/2是一个数字，mystery/comedy表示两个词之间的某些东西，等等。我觉得没有处理组成词这将适用于所有相关案例，因此更好的选择是将它们作为唯一词处理。在解码阶段，当标注者可能会看到更多以前未见过的此类单词的示例时，通常可以根据上下文做出决定，而不是单词本身。