python-3.x - Spacy 3.0 训练自定义 NER --> 验证此自定义 NER 模型

Question

我训练了一个自定义 SpaCy 命名实体识别模型来检测职位描述中的偏见词。现在我训练了 8 个变体（使用不同的基础模型、训练模型和管道设置），我想评估哪个模型表现最好。

但是.. 我找不到任何关于验证这些模型的文档。在输出文件夹中的 meta.json 文件中有一些召回率、f1 分数和精度，但这还不够。

任何人都知道如何验证或可以将我链接到正确的文档？文档似乎无处可寻。

注意：谈论 SpaCy V3.x

Answer 1

在训练期间，您应该提供可用于验证的“评估数据”。这将在培训期间定期评估，并打印适当的分数。

请注意，使用了许多不同的术语，但在 spaCy 中，有您实际训练的“训练数据”和非训练的“评估数据”，仅用于在训练过程中进行评分。要评估保留的测试数据，您可以使用 cli evaluate命令。

查看这个时尚品牌示例项目，了解如何配置和使用“评估”数据。