nlp - 词预测：神经网络与 n-gram 方法

Question

例如，如果我尝试预测句子中的下一个单词，我可以使用双语法方法并根据语料库中的前一个单词计算单词出现的概率。

相反，我使用神经网络来预测下一个单词。训练数据由词对组成，每对包含语料库中的当前词和下一个词。训练网络使用输入值作为单词的向量化表示，输出值是语料库中下一个单词的向量化表示。

我希望神经网络表现更好，但我不知道为什么？

与经典方法相比，何时使用神经网络更好。在这种情况下，神经网络与 n-gram 模型。抱歉，如果这个问题模棱两可。

也许答案是反复试验并检查哪个模型具有更快的性能并做出更好的预测？

神经网络的性能会更好，因为预测只是向量乘法，而使用 n-gram 模型进行预测需要概率计算。

Answer 1

您的问题的答案取决于您拥有的具体数据。正如您所说，n-gram 模型基于计算观察每个可能的二元语法的概率。这是利用数据的一种非常有效的方法，尤其是当您没有大量文本可供训练时。N-gram 模型可以轻松击败小型数据集上的神经网络模型。

神经网络具有 n-gram 模型所没有的一些优势。假设使用循环神经网络，他们可以利用更长的单词历史。它们还可以在相似的 n-gram 之间共享参数。