3

我想规范化我从这个给定代码中得到的 tfidf 结果：

for (int docNum = 0; docNum < ir.numDocs(); docNum++) {
            TermFreqVector tfv = ir.getTermFreqVector(docNum, "contents");
            if (tfv == null) {
                // ignore empty fields
                continue;
            }
            String[] tterms = tfv.getTerms();
            int termCount = tterms.length;
            int[] freqs = tfv.getTermFrequencies();
            for (int t = 0; t < termCount; t++) {
                double idf = ir.numDocs() / ir.docFreq(new Term("contents", tterms[t]));
                System.out.println(" " + tterms[t] + " " + freqs[t]*Math.log(idf));
            }
        }

此代码的输出是：

area 0.0
areola 5.877735781779639
ari 3.9318256327243257
art 1.6094379124341003
artifici 1.0986122886681098
assign 2.1972245773362196
associ 3.295836866004329
assur 1.9459101490553132
averag 1.0986122886681098
avoid 0.6931471805599453
.
.
.

任何帮助将非常感激。谢谢你

4

1 回答 1

9

一种常见的方法是按文档大小进行标准化。即，您不使用术语计数（或绝对频率），而是使用相对频率。

让freqsum成为您的频率数组的总和。然后使用

freqs[t]/(double)freqsum*Math.log(idf)

为避免此类混淆，我建议使用以下术语：

  • “绝对频率”的术语计数
  • 文档中单词比率的相对频率

而不是模棱两可的术语“词频”。

我知道从历史上看，如果您查看 Salton, Yang, On the specification of term values in automatic indexing (1973)，它们指的是绝对计数。余弦相似度将消除比例，因此无论如何都无关紧要。像 Lucene 这样的现代系统会尝试更好地控制文档的影响。

于 2012-07-05T15:48:02.060 回答