问题标签 [language-model]

我一直在与 PocketSphinx 合作，为自然语言制作语音识别器。我不想使用语法，而是使用语言模型。有没有可能我在网上找不到任何已经完成的事情？每个人都在链接这个页面，但它只包含声学模型，我正在寻找带有统计语言模型的 .dmp 或 ARPA 文件。我可以自己制作，但时间太长了，我不敢相信没有什么可以下载英语的。

我正在使用这个预训练的 tensorflow 模型并试图获得一个句子的概率。我的主要任务是，从几个句子中找到一个概率最大的句子。

使用此代码，我能够预测下一个单词。

但是，如何从许多句子的列表中获得一个句子的概率？

我可以在 python 中做这样的事情吗？我有3句话：

有可能当我给我喜欢的时候，脚本返回猫？

有人可以给我建议/工具或一些例子吗？

在检查 Tensorflow 的 PTB 语言模型中的评估设置时，我对 eval_config 中的评估设置感到困惑：

在https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

据我所知，在评估过程中，上下文单词的窗口（最大可能为 num_steps 大小）用于预测下一个单词，该单词存储在单独的目标张量中。如果 num_steps 设置为 1，是否意味着只有前面的单词用于预测（忽略上下文窗口大小>1）？同样在评估期间，为什么 batch_size 也设置为 1。将更大的批次输入网络以进行评估是否有意义？

如何将语言模型集成到 TensorFlow 语音识别架构中？

有很多例子可以在 Tensorflow 中构建字符级语音识别（例如https://github.com/nervanasystems/neon，https://github.com/buriburisuri/speech-to-text-wavenet），其中很有趣但实际上没用，除非集成了语言模型。我找不到使用语言模型的示例。

如何集成语言模型？

我正在尝试使用图书馆 Rainbow ( http://www.cs.cmu.edu/~mccallum/bow/src/bow-20020213.tar.gz ) 来解决一个简单的问题，但是无法编译彩虹。 c 文件。

错误是

有什么方法可以避免生成工作编译文件。

这是之后——

*

*

如果可能，请花几分钟时间提供帮助，因为我需要该包来提交我选择的项目问题。

https://stackoverflow.com/questions/43423803/document-classification-tool-in-c-compilation-error/43432470#43432470

在上面的链接中 - 添加 -fnested_functions 后出现 3 个错误

gcc -c ./rainbow.c -fnested-functions process_wv.c test_file.c test_hdb_file.c

（3 个文件 process_wv、test_file、test_hdb_file 已从 rainbow.c 中删除，现在作为单独的 .c 文件添加到目录中）

输出：-

PS为什么test_file.c在rainbow.c中无法识别（docnames.c中的bow_map_filenames_from_dir），即使它们位于同一个bow-20020213文件夹中（所有人的权限都是755）

问候

加载用于评分句子的语言模型时，LM('bible.klm') 文件大小是否应小于 RAM 大小？

环境信息

• 操作系统：Windows 7 64 位
• 从预先构建的 pip（无 CUDA）安装的 Tensorflow：1.0.1
• Python 3.5.2 64 位

问题

我在恢复我的网络（RNN 字符基础语言模型）时遇到问题。以下是具有相同问题的简化版本。

例如，当我第一次运行它时，我得到了这个。

但是在第二次运行时，在恢复参数后，我得到了这个。

所有的 tf 变量似乎都被正确地恢复了，包括将被馈送到 RNN 的状态。数据位置也被恢复（从“步骤”）。

我还为 MNIST 识别模型做了一个类似的程序，这个程序运行良好：恢复前后的损失是连续的。

是否还有其他需要保存和恢复的参数或状态？

我正在使用 Tensorflow 训练基于 RNN 的语言模型。该模型与 TF 教程部分中的 PTB 模型示例非常相似。但是，当我尝试根据自己的数据训练模型时，模型的困惑度并没有下降；它在多个时期保持不变。谁能让我知道我可能做错了什么。

我有一种感觉，我没有正确处理目标，但我的目标代码的要点是：

也就是说，我只是将数据移动 1 并将其用作句子中下一个单词的目标。

训练脚本和模型（类）如下所示

训练脚本（摘录）：

模型：