18

我想用 n-gram 实现一些应用程序（最好在 PHP 中）。

哪种类型的 n-gram 更适合大多数用途？单词级别还是字符级别 n-gram？如何在 PHP 中实现 n-gram-tokenizer？

首先，我想知道 N-gram 到底是什么。这个对吗？这就是我理解 n-gram 的方式：

句子：“我住在纽约。”

单词级别的二元组（n 为 2）：“# I”、“I live”、“live in”、“in NY”、“NY #”

字符级二元组（n 为 2）：“#I”、“I#”、“#l”、“li”、“iv”、“ve”、“e#”、“#i”、“in”、“ n#”、“#N”、“NY”、“Y#”

当你有这个 n-gram-parts 数组时，你删除重复的部分并为每个部分添加一个计数器，给出频率：

字级二元组：[1, 1, 1, 1, 1]

字符级二元组：[2, 1, 1, ...]

这个对吗？

此外，我想了解更多关于你可以用 n-gram 做什么的信息：

  • 如何使用 n-gram 识别文本的语言？
  • 即使您没有双语语料库，是否可以使用 n-gram 进行机器翻译？
  • 如何构建垃圾邮件过滤器（垃圾邮件、火腿）？将 n-gram 与贝叶斯滤波器结合起来？
  • 如何进行主题定位？例如：关于篮球或狗的文字？我的方法（对“狗”和“篮球”的维基百科文章执行以下操作）：为两个文档构建 n-gram 向量，对其进行归一化，计算曼哈顿/欧几里得距离，结果越接近 1 越高相似

您如何看待我的应用方法，尤其是最后一种？

我希望你能帮助我。提前致谢！

4

2 回答 2

26

对于您提到的大多数文本分析应用程序，单词 n-gram 通常会更有用，但可能是语言检测例外，其中诸如字符三元组之类的东西可能会提供更好的结果。实际上，您将为您有兴趣检测的每种语言的文本语料库创建 n-gram 向量，然后将每个语料库中三元组的频率与您正在分类的文档中的三元组进行比较。例如，三元the组在英语中的出现频率可能比在德语中的出现频率高得多，并且会提供某种程度的统计相关性。获得 n-gram 格式的文档后，您可以选择多种算法进行进一步分析、贝叶斯滤波器、N-最近邻、支持向量机等。

在您提到的应用程序中，机器翻译可能是最牵强的，因为单独的 n-gram 不会让您走得很远。将输入文件转换为 n-gram 表示只是将数据放入格式以进行进一步特征分析的一种方式，但由于您丢失了大量上下文信息，因此它可能对翻译没有用处。

需要注意的一件事是，为一个文档创建一个向量 [1,1,1,2,1] 为另一个文档创建一个向量 [2,1,2,4] 是不够的，如果尺寸不匹配。也就是说，向量中的第一个条目不能the在一个文档is中和另一个文档中，否则算法将不起作用。你最终会得到像 [0,0,0,0,1,1,0,0,2,0,0,1] 这样的向量，因为大多数文档不会包含你感兴趣的大多数 n-gram。这个“衬里”特征的增加是必不可少的，它要求您“提前”决定您将在分析中包含哪些 ngram。通常，这是作为两遍算法实现的，首先确定各种 n-gram 的统计显着性以决定保留什么。谷歌“功能选择”了解更多信息。

基于单词的 n-gram 和支持向量机以一种出色的方式执行主题定位，但是您需要预先分类为“主题”和“主题外”的大量文本语料库来训练分类器。您会在citeseerx 之类的网站上找到大量研究论文，解释解决此问题的各种方法。我不建议使用欧几里得距离方法来解决这个问题，因为它不会根据统计显着性对单个 n-gram 进行加权，因此两个包含the, a,is和的文档of将被认为比两个包含 的文档更匹配Baysian。从您感兴趣的 n-gram 中删除停用词会有所改善。

于 2009-06-23T13:17:08.623 回答
2

您对 n-gram 的定义是正确的。

您可以将词级 n-gram 用于搜索类型的应用程序。字符级 n-gram 可以更多地用于分析文本本身。例如，为了识别文本的语言，我将使用字母的频率与语言的既定频率进行比较。也就是说，文本应该与该语言中字母的出现频率大致匹配。

可以使用 strtok 完成 PHP 中单词的 n-gram 分词器：

http://us2.php.net/manual/en/function.strtok.php

对于字符使用拆分：

http://us2.php.net/manual/en/function.str-split.php

然后，您可以根据需要将数组拆分为任意数量的 n-gram。

贝叶斯过滤器需要经过训练才能用作垃圾邮件过滤器，可以与 n-gram 结合使用。然而，你需要给它大量的输入才能让它学习。

就学习页面的上下文而言，您的最后一种方法听起来不错……但这仍然很难做到，但是 n-gram 听起来是这样做的一个很好的起点。

于 2009-06-23T12:49:44.903 回答