rasa-nlu - 当我只有域内数据时，如何在特定于域的问答机器人中评估域外问题？

Question

我了解到，一些流行的机器人（如 RASA 或 LUIS）将具有“置信度分数”来评估域外问题，但它们都没有提供有关如何计算这些分数的文档。此外，信息检索有一些计算相似度的方法，但我不知道它将使用哪些方法进行域外分类。有人能给我一些关于我可以研究哪些论文、方向或代码的想法吗？

Answer 1

我通常做的是创建一个意图out_of_scope并将超出范围的消息示例添加到此意图。如果消息现在超出范围，则预测要么不可信，要么消息被归类为out_of_scope。使用 Rasa，您还可以对测试集进行评估，从而为您提供置信水平的直方图。这有助于为置信度分数选择合适的阈值。关于置信度计算：对于 Rasa，这取决于您使用的管道组件而有所不同。