问题标签 [brill-tagger]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
621 浏览

python - NLTK 保存经过训练的 Brill 模型

我正在使用py-crfsuiteNLTK 中提供的方法训练 Brill 的 POS 标记器。但是,当我尝试保存经过训练的模型时,出现以下错误:

pycrfsuite._pycrfsuite.Tagger 中的文件“stringsource”,第 2 行。reduce_cython 类型错误 :self.c_tagger 无法转换为 Python 对象进行酸洗

我尝试过使用,pickle但是错误似乎仍然存在。有没有办法解决这个问题。这是因为使用 CRF 标记器作为基线吗?谢谢你。dillyaml

0 投票
0 回答
87 浏览

python - 如何在 Brill 标记器、NLTK 中修改规则

nltk 中的 brill 标记器在标记指令数据时出现错误。例如:“heat until brown”,将被标记为“[[('heat', 'NN'), ('until', 'IN'), ('brown', 'JJ')]]"。指令数据集中的大多数动词将被标记为“NN”。

所以我想修改brill tagger中的规则,并根据我的烹饪动词列表来改变标签。例如:如果'IN'之前没有'VB',并且'IN'之前有一个标记,并且在我的烹饪动词列表中标记为'NN',则将'NN'更改为'VB'。

但是,我不知道如何在 brill 标记器中插入我自己的规则(具体来说,我正在查看 nltk 源代码:https ://www.nltk.org/_modules/nltk/tbl/template.html )。有人可以帮忙吗?

谢谢!