问题标签 [language-model]

k skipgram是一个 ngram，它是所有 ngram 的超集，并且每个 (ki )skipgram 直到 (ki)==0（包括 0 个 skipgram）。那么如何在python中有效地计算这些skipgrams呢？

以下是我尝试过的代码，但没有按预期执行：

上面的代码没有正确渲染，但是 printfind_skipgrams(['all', 'this', 'happened', 'more', 'or', 'less'],2,1)给出了以下输出

[['this', 'happened', 'more'], ['happened', 'more', 'or'], ['more', 'or', 'less'], ['or', 'less '], ['less'], ['happened', 'more', 'or'], ['more', 'or', 'less'], ['or', 'less'], ['less ']， ['较少的']]

此处列出的代码也没有给出正确的输出： https ://github.com/heaven00/skipgram/blob/master/skipgram.py

print skipgram_ndarray("What is your name") 给出：['What,is', 'is,your', 'your,name', 'name,', 'What,your', 'is,name']

名字是一个unigram！

我使用工具 CMUCLMTK 使用来自维基百科转储的数据构建了泰米尔语语言模型。现在，我如何生成语音转录并在模型中替换它们。维基文章 ( http://cmusphinx.sourceforge.net/ wiki/phonemerecognition）说要替换转录而不是单词。我现在应该做什么？

我是 Java 应用程序开发的新手，我正在尝试创建一个示例语音到文本应用程序来转换现场语音。我尝试使用 Sphnix4-5prealpha，发现麦克风有问题（http://sourceforge.net/p/cmusphinx/bugs/412/）。所以我切换回 1.0 beta 6。我成功运行了 helloWorld 和 helloNgram 程序。我不确定 helloNGram 是否适合我开始，即使这是正确的，我也不太清楚如何进行。我找不到任何从 helloNGram 前进的方法。任何人都可以帮助我解决以下两件事：

1. 我应该从哪个例子开始？
2. 实现具有良好准确性的通用英语语音到文本应用程序的高级步骤是什么。

我有一个非常具体的要求。我正在开发一个应用程序，它允许用户在应用程序中说出他们的员工编号，其格式为 HN56C12345（任何字母数字字符序列）。我已经浏览了链接：http ://cmusphinx.sourceforge.net/wiki/tutoriallm但我不确定这是否适用于我的用例。

所以我的问题是三个方面：

1. 在我的情况下，Sphinx4 可以像 emp 数字一样准确地识别字母数字序列吗？
2. 如果是的话，任何人都可以指向一个具体的示例/参考页面，其中有人从头开始在 Sphinx4 中构建了自定义语言支持。我还没有找到详细的分步文档。有没有人研究基于字母数字序列的字典或语言模型？
3. 如何为这种情况建立声学模型？

我正在尝试计算我拥有的数据的困惑度。我正在使用的代码是：

但我收到错误，

我已经对我拥有的数据执行了潜在狄利克雷分配，并且我已经生成了一元组及其各自的概率（它们被归一化为数据的总概率之和为 1）。

我的 unigrams 和它们的概率看起来像：

这只是我拥有的 unigrams 文件的一个片段。大约 1000 行遵循相同的格式。总概率（第二列）相加得出 1。

我是一个初出茅庐的程序员。这个 ngram.py 属于 nltk 包，我对如何纠正这一点感到困惑。我这里的示例代码来自 nltk 文档，我现在不知道该怎么做。请帮助我能做些什么。提前致谢！

我正在尝试使用以下命令生成 arpa 格式语言模型：

但是第二个命令wngram2idngram 不起作用并引发以下错误：

text2idngram：错误：必须指定 idngram 文件。

我如下更改参数，它可以工作。

我的问题是哪一个是正确的？我正在使用 cmulmtk 版本 3。

我已经为一个软件创建了自己的 CMUSphinx 阿拉伯语语言模型，该软件将聆听用户并使用我自己手动完成的字典应用命令，将“arpa”语言模型类型转换为“dmp”语言模型使用命令sphinx_lm_convert -i ar.lm -o ar.lm.dmp，所以这里是我到目前为止的文件：

• .txt（命令文本文件）
• .wfreq（单词文件的频率）
• .idngram（ngram 文件）
• .dic（字典文件）
• .phone（音素文件）
• .lm（arpa 语言模型文件）
• .lm.dmp（Darpa Trigram 转储语言模型文件）

然后我记录了自己说每个单词的过程，每个单词都有自己的 .wav 文件，它们都在一个文件夹中，与 .dic、.txt、.lm 所在的文件夹分开。

我的问题是，当我在这里阅读http://cmusphinx.sourceforge.net/wiki/tutorial时，下一步是什么？

说适应现有的声学模型是建立语言模型之后的下一步，不是训练语言模型吗？

如果是培训，我有所有需要的文件，除了：

• .转录
• .fileids

这两个文件里面应该有什么？

谢谢

我正在执行以下代码：

但我得到一个错误：

我真的不知道为什么我会遇到这个问题；它是来自 nltk 代码的错误吗？有没有人知道我做错了什么？

先感谢您。

我在 theano 用户列表上问了同样的问题，但没有得到答复，只是想知道是否有人可以在这里帮助我。

我正在尝试根据这篇不错的帖子重新实现http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf的 RNNLM。我尝试了一个玩具测试用例，训练数据是 PTB 训练数据的前 100 句（从http://rnnlm.org/下载），同样的数据也用于评估。

基线：

我使用来自http://rnnlm.org/的 rnnlm-0.4b 训练了 LM 25 次迭代，我得到了测试日志概率：-4107.323481 PPL net: 85.496622

生成基线的命令行是：

使用我的实现，经过 25 次迭代，PPL 有很大的不同：

纪元=24：对数概率=-5374.255371 ppl=337.187731

我还在学习 Theano，我在实现过程中是否遗漏了什么？

谢谢

我的实现可以在这里找到：

Tesseract 无法读取多维数据集语言模型。 tesseract 1.png output.txt -l hin 执行上述命令后，出现以下错误。

我在哪里得到hin.cube.lm文件以及如何处理该文件？