nlp - 自然语言处理词联想

Question

我的项目需要一些自然语言处理。我对这个领域完全陌生。

我想要得到的是当用户输入一个字符时，我想获取一个可以跟随该特定字符的英文字符列表，以便生成一个合法的单词。

NLP 中的具体术语是什么？我尝试了一段时间的谷歌搜索，但没有运气，因为我不知道这个词。有什么好的教程可以开始吗？在执行此特定任务时是否有任何好的库？

谢谢你。

Answer 1

欢迎来到 NLP 社区。

您要查找的术语很可能是query predictionor sentence prediction。例如，当您在 google 中键入一些字符时，它会开始预测您可能想要搜索的某些单词/短语。在技​​术背后，他们使用 (a) 基于语言的启发式和 (b) 基于用户的搜索历史来训练他们的模型。他们称之为Google Instant，见http://www.google.com/insidesearch/

如果您正在寻找sentence/word prediction，那更像是当您使用手机时，有一个功能可以帮助您更快地打字，从技术上讲，它是调用autocomplete（https://en.wikipedia.org/wiki/Autocomplete），请参阅https:// /en.wikipedia.org/wiki/自动完成。现代autocomplete使用 NLP 来预测您键入的内容的句法/语义单词。

正如@evan 所说，markov chain这是一种从您的训练数据中学习模式的方法，然后在测试您的系统时，它可以根据您实施的任何启发式/统计预测相应地猜测单词。见https://en.wikipedia.org/wiki/Markov_chain

Answer 2

查看语言模型以及字母频率。马尔可夫链也经常用于这类问题。