nlp - 对问答系统 NLP 的建议

Question

我正在尝试构建一个问答系统，其中我有一组预定义的问题及其答案。对于来自用户的任何给定问题，我必须查找类似问题是否已存在于预定义问题中并发送答案。如果它不存在，它必须回复一个通用响应。关于如何使用 NLP 实现这一点的任何想法都会非常有帮助。

提前致谢！！

Answer 1

正如您在问题中已经提到的，这需要一个计算文本相似度的解决方案。在这种情况下，问题-问题相似性。您有一堆问题，对于传入的查询/问题，必须根据手头的每个可用问题计算相似度分数。从我以前的答案，做简单的句子相似性，

1. 将句子转换为合适的表示
2. 计算两个表示之间的一些距离度量并找出最接近的匹配

要实现1，可以考虑将句子中的每个单词都转换成对应的向量。有提供矢量映射的库/算法，如fasttext 。整个句子的向量表示是通过对所有词向量取平均值来获得的。使用余弦相似度计算查询与可用列表中每个问题之间的分数。