3

我目前正在使用语言建模进行分类任务。该项目的第一部分涉及使用 n-gram 语言模型使用 c5.0 对文档进行分类。项目的最后一部分要求我使用交叉熵对每个类进行建模,并根据这些模型对测试用例进行分类。

有没有人有使用交叉熵的经验,或有关如何使用交叉熵模型对数据进行采样的信息的链接?任何信息都会很棒!谢谢

4

1 回答 1

1

您可以在各种教科书上获得使用交叉熵和语言模型的理论背景,例如 Jurafsky & Martin 的“Speech and language processing”,第 2 版的第 116-118 页。至于具体用法,在大多数语言建模工具中,交叉熵不是直接测量的,而是“Perplexity”,即交叉熵的exp。反过来,困惑度可用于对文档进行分类。参见,例如 SLM 中命令“evallm”的文档,卡内基-梅隆大学语言建模工具 (http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html)

祝你好运 :)

于 2011-03-13T12:15:48.820 回答