问题标签 [simhash]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
similarity - 检查 x 文本之间的相似度
我目前正在做一个项目,我需要检查几个文本之间的重复百分比。目标是尽可能接近谷歌的重复处理。
在做了很多研究之后,我认为 Simhash 是最适合这个的。有许多库和许多参数。
使用我受到启发的https://github.com/nicolaichuk/SimHashPhp库,使用此代码计算索引:
/**
在检索到我的两个文本的指纹后,我想知道两个文本之间的相似度百分比。
除了当我从 64 位 SIMHASH 到 128 或 256 时,不同位的数量增加并且我的索引变得越来越小(使用 xxxxxE-19、xxxxE-40)。
在图书馆设计者的文章中(https://web.archive.org/web/20150227194138/http://www.titouangalopin.com/blog/2014-05-29-simhash),他解释了一个更简单的公式: 1 - (diffCount / nbBit)
除了如果我应用这个公式而不是 gaussianDensity,结果与互联网上的其他工具不一致,并且给出了非常错误的值。
所以我有点卡住了......有人有想法让我摆脱 Simhash 的这个问题,或者有另一个想法来检查几个文本之间的相似性吗?
感谢,并有一个愉快的一天 !
python - 这个 simhash 实现对吗?
我正在尝试实现 simhash 并尝试将其用于我们最近的工作,我编写了一些代码,它的工作原理是这样的,但我对这个差异感到困惑。为什么这么大,有些文章说 diff < 3 是相似度。
对不起我的英语。谢谢~