1

我正在研究堆砌代码以比较接近重复的内容。我有点卡在比较代码上。这是我迄今为止的粗略尝试。

//shingles are already hashed integers and I'm working on the evaluation to true via the float similar parameter.
public static boolean compareShingles(float similar, CompareObject comp1, CompareObject comp2) {
        int intersections = 0;
        if(comp1.getShingle().size()>=comp2.getShingle().size()){
        for(int i = 0; i < comp1.getShingle().size(); i++){

              if(comp1.getShingle().get(i).equals(comp2.getShingle().get(i))){
              intersections++;
              }

        }
        }
        else{
              for(int i = 0; i < comp2.getShingle().size(); i++){
                    if(comp2.getShingle().get(i).equals(comp1.getShingle().get(i))){
                    intersections++;
                    }

              }
        }
        return true; //not functional still working on when to return true
  }

如果我应该在一个数组中比较这些带状疱疹 1-1，或者我是否应该将一个带状疱疹与循环中的所有带状疱疹进行比较，我有点卡住了。

例如，如果我循环比较每个带状疱疹和其他带状疱疹，那么这些文件将是相同的......

{blah blah blah, Once upon a, time blah blah}
{Once upon a, time blah blah, blah blah blah}

如果我对同一个文档进行位置比较，那么位置 1 将是“blah blah blah”与“Once on a”相比，这将返回 false。

我认为循环会更加密集，但它可能是正确的选择。想法？

4

1 回答 1

0

顺序无所谓。。

您基本上制作了瓦片组并将它们与 Jaccard 相似度进行比较。它有助于有一个散列来自动丢弃重复的带状疱疹。只需计算每个文档之间的匹配项，并计算出需要匹配多少个才能认为它们相似。

http://ethen8181.github.io/machine-learning/clustering_old/text_similarity/text_similarity.html

于 2018-08-14T12:32:51.683 回答