nlp - 如何使用 AI 判断来自不同来源的关于同一事件的两篇文章是否相同？

Question

我怎么能说两篇关于同一事件但在语法和逻辑上不同的文章是相同的还是不同的。

例子：

案例一：

• 第 1 条（新闻来源 1）：本财年美国贸易逆差上升

• 第2条（新闻来源2）：美国贸易逆差在上升

结果：两者相同

案例2：

• 第1条（消息来源1）：哈佛今年有更年轻的学生。

• 第2条（新闻来源2）：哈佛今年对学生的入学变得更加艰难。

结果：它们是不同的。

不是逐字匹配，而是作为一个整体。如果我们可以进行意义比较，那就更好了。我使用哪些 AI 概念，如果有人可以分享一些相同的信息，将会很有帮助。有人告诉我自然语言处理可能会有所帮助。请帮忙！！

PS：请告诉我是否有相同的开源API。

Answer 1

首先，看一下Levenshtein distance或edit distance。这可以帮助您衡量两个字符串（或文本）的“不同”程度。

对于更高级别的比较，您确实需要考虑语义。我认为 WordNet 可以访问单词的语义，这可以帮助您比较单词。看例子