问题标签 [perplexity]

评估语言模型的流行方法是困惑。

但是我们不能直接从 BiLSTM 模型中找到困惑数。

我们需要从 2^(cross-entropy) 计算它。

我应该使用 BLEU 还是 Next-word 预测结果或其他方法来评估这些模型？

我会很感激任何想法。

在使用示例中的 PTB 模型期间，我遇到了一些问题。
在示例中，作者使用以下方式获取测试困惑度：

但是通过代码，我只能在训练后立即获得测试困惑。如何加载一个训练好的模型并计算相应生成文本的困惑度？
当我试图从生成的文本中计算困惑时，我使用了以下代码：

但我得到了与前一种方式不同的结果。
问题出在哪里？
谢谢阅读。

我正在使用这个seededLDA包来做一个 LDA 主题模型。但是，我发现用于计算困惑度、对数似然度、排他性等（以及其他诊断工具）的所有包和函数都不适用于这些模型（它们仅适用于topicmodelsLDA 输出）。

我没有使用topicmodels，因为我需要使用种子词，并且我无法让播种功能发挥topicmodels作用。

我真的很喜欢的外观，topicdoc但仅适用于topicmodels. 那么，有谁知道如何：

• 将输出转换textmodel为topicmodels; 或者
• 对textmodel输出进行诊断？

在此先感谢，丹尼尔

我想测量 pretrained_model 的困惑度。这个 pretrained_model 是 self_made。代码如下。

模型内容如下。

错误IndexError: index out of range in self在outputs = model(inputs, masked_lm_labels=labels) # tuple

输入和标签形状都是 torch.Size([128, 128])，这有什么问题？

有人可以告诉我该怎么做吗？如果我遗漏了什么，请指出。