我目前正在使用语言建模进行分类任务。该项目的第一部分涉及使用 n-gram 语言模型使用 c5.0 对文档进行分类。项目的最后一部分要求我使用交叉熵对每个类进行建模，并根据这些模型对测试用例进行分类。
有没有人有使用交叉熵的经验，或有关如何使用交叉熵模型对数据进行采样的信息的链接？任何信息都会很棒！谢谢
问问题
750 次
1 回答
1
您可以在各种教科书上获得使用交叉熵和语言模型的理论背景，例如 Jurafsky & Martin 的“Speech and language processing”，第 2 版的第 116-118 页。至于具体用法，在大多数语言建模工具中，交叉熵不是直接测量的，而是“Perplexity”，即交叉熵的exp。反过来，困惑度可用于对文档进行分类。参见，例如 SLM 中命令“evallm”的文档，卡内基-梅隆大学语言建模工具 (http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html)
祝你好运 ：）
于 2011-03-13T12:15:48.820 回答