我想使用以下代码使用内置 Scorer 函数评估我训练有素的 spaCy 模型:
def evaluate(ner_model, examples):
scorer = Scorer()
for input_, annot in examples:
text = nlp.make_doc(input_)
gold = Example.from_dict(text, annot)
pred_value = ner_model(input_)
scorer.score(gold)
return scorer.scores
examples = [('Brief discussion about instument replcement and Product ...confirmation', {'entities': [(48, 55, 'PRODUCT')]})('Met with special chem lead. Did not yet move assays from immulite to produc. Follow up with PhD tomorrow.', {'entities': [(57, 68, 'PRODUCT'), (45, 51, 'DATE'), (97, 105, 'DATE')]}), ('Discuss new products for ...', {'entities': [(36, 51, 'PRODUCT')]})]
ner_model = spacy.load(r'D:\temp\model') # for spaCy's pretrained use 'en_core_web_sm'
results = evaluate(ner_model, examples)
当我运行该函数时,我收到以下错误消息:
TypeError: [E978] Tokenizer.score 方法采用示例对象列表,但得到:<class 'spacy.training.example.Example'>
我已经尝试输入像 {"entities": annot} 和其他一些版本的注释。我查了谷歌,但每篇文章似乎都与 spaCy 的 2.xx 版有关。
我究竟做错了什么?如何使用 spacy Score() 计算召回率、准确率和 F1 分数?