我一直在使用Ruby Classifier 库对隐私政策进行分类。我得出的结论是，这个库中内置的简单的词袋方法是不够的。为了提高分类准确度，除了单个单词之外，我还想在 n-gram 上训练分类器。
我想知道是否有一个库用于预处理文档以获取相关的 n-gram（并正确处理标点符号）。一种想法是我可以预处理文档并将伪 ngram 输入 Ruby 分类器，例如：
wordone_wordtwo_wordthree
或者，也许有更好的方法可以做到这一点，例如从一开始就内置了基于 ngram 的朴素贝叶斯分类的库。如果他们完成工作，我愿意在这里使用除 Ruby 之外的语言（如果需要，Python 似乎是一个很好的候选者）。
如果你对 python 没问题，我会说nltk对你来说是完美的。
例如：
>>> import nltk
>>> s = "This is some sample data. Nltk will use the words in this string to make ngrams. I hope that this is useful.".split()
>>> model = nltk.NgramModel(2, s)
>>> model._ngrams
set([('to', 'make'), ('sample', 'data.'), ('the', 'words'), ('will', 'use'), ('some', 'sample'), ('', 'This'), ('use', 'the'), ('make', 'ngrams.'), ('ngrams.', 'I'), ('hope', 'that'
), ('is', 'some'), ('is', 'useful.'), ('I', 'hope'), ('this', 'string'), ('Nltk', 'will'), ('words', 'in'), ('this', 'is'), ('data.', 'Nltk'), ('that', 'this'), ('string', 'to'), ('
in', 'this'), ('This', 'is')])
你甚至有一个方法nltk.NaiveBayesClassifier
>> s = "She sells sea shells by the sea shore"
=> "She sells sea shells by the sea shore"
>> s.split(/ /).each_cons(2).to_a.map {|x,y| x + ' ' + y}
=> ["She sells", "sells sea", "sea shells", "shells by", "by the", "the sea", "sea shore"]
Ruby 可枚举对象有一个名为 enum_cons 的方法，该方法将从可枚举对象中返回 n 个连续项目中的每一个。使用该方法生成 ngram 是一个简单的单行。