问题标签 [kenlm]

加载用于评分句子的语言模型时，LM('bible.klm') 文件大小是否应小于 RAM 大小？

如何使用 kenlm 安装 tensorflow？

显然，在使用 tensorflows ctc 波束搜索解码器时，kenlm 没有任何论据。我们如何将 kenlm 集成到该功能中？

假设我们在此基础上建立了一个模型：

从困惑公式（https://web.stanford.edu/class/cs124/lec/languagemodeling.pdf）

应用逆对数公式之和得到内部变量，然后取n次根，困惑数异常小：

用数据中找不到的一句话再试一次：

并再次尝试完全超出域数据：

虽然预计较长的句子具有较低的困惑度，但奇怪的是差异小于 1.0 并且在小数范围内。

以上是用 KenLM 计算困惑度的正确方法吗？如果没有，是否有人知道如何通过 Python API 对 KenLM 进行计算机处理？

AttributeError：“kenlm.Model”对象没有属性“score”

我正在使用以下命令在 Windows 7 64 位上的 Python2.7 上安装 KenLM：

错误信息：

我有一个 python 包由于依赖于 Windows 构建工具而无法安装。

我尝试过的事情：

1. 安装最新版本的 Visual Studio 2017（AFAIK 它应该包含 Microsoft Visual C++ 14.0）。

2. 直接从此处https://www.visualstudio.com/downloads/#build-tools-for-visual-studio-2017安装 Visual Studio 2017 的构建工具。

3. 明确C:\Program Files (x86)\Microsoft Visual Studio\2017\BuildTools地走上我的道路。

4. 卸载所有 Visual Studio 并重试。

到目前为止还没有运气。我尝试重新启动终端，重新启动计算机等......我正在使用 GitBash，这可能是相关的，尽管它不会给我带来任何问题。

当我安装这些工具时，我确保检查了“Visual C++ Build Tools”工作流，它选择了“单个组件”选项卡下可用的许多行项目的一部分。

在下面的示例中，我正在安装语言模型，但我相信我的问题比这更普遍。我发现很难理解许多组件中的哪些与我的任务相关。我想知道的是：我如何验证我是否正确配置了构建工具并且我有正确的版本？这里的任何建议或指导将不胜感激。

错误：

我在大约 5000 个英语句子/段落上训练了一个 KENLM 语言模型。我想用两个或更多段查询这个 ARPA 模型，看看它们是否可以连接起来形成一个更长的句子，希望更“语法”。以下是我用来获取片段和“句子”的对数分数（以及基于 10 的幂值）的 Python 代码。我已经举了两个例子。显然，第一个例子中的句子比第二个例子中的句子更符合语法。但是，我的问题不是关于这个，而是关于如何将整个句子的语言模型分数与句子成分的分数联系起来。也就是说，如果句子在语法上优于其成分。

• ************ 先生 。Yamada was elected Chairperson of -34.0706558228 8.49853715087e-35 the Drafting Committee by acclamation . -28.3745193481 4.22163470933e-29 先生。Yamada was elected Chairperson of the Drafting Committee by acclamation . -55.5128440857 3.07012398337e-56 ------------- 本卷 ix 引用的案例 -27.7353248596 1.83939558773e-28 本卷 xiii 引用的多边文书 -34.4523620605 3.52888852435e-35本卷 ix 本卷 xiii 中引用的多边文书 -60.7075233459 1.9609957573e-61

如何使用KenLMwith tensorflowas 解码器？我知道tensorflow-with-kenlmtf fork，但它基于 1.1 tf 版本，对我的项目没有很多重要功能。

我正在尝试pip install在 anaconda 内进行操作，即激活环境。当我之前使用 anaconda 2 安装该软件包时，它运行良好。当我使用 anaconda 3 进行相同的安装时，我得到了下面重现的错误。有没有办法：

(a) 即使安装了 anaconda 3 也使用 anaconda 2？(b) 完全降级到 anaconda 2，然后从头开始？(c) 避免这个 C++ 错误？

这是错误，以防有帮助：

尝试在 anaconda 环境中从 pip安装kenlm 的 python 包装器时，出现错误：

该pip命令在 conda 环境之外工作，但 kenlm 在环境中不活动。我还能够从运行 linux 的 AWS ec2 实例运行它，所以这可能是 Mac OSX 的问题。知道如何解决吗？