1

我已经找到了数十种关于 LogLog 算法基本思想的解释,但它们都缺乏关于哈希函数结果拆分如何工作的细节我的意思是使用单个散列函数并不精确,而使用多个函数太昂贵。他们如何克服单一哈希函数的问题?

这个答案是我找到的最好的解释,但对我来说仍然没有意义:

他们使用一个哈希,但将其分为两部分。一个称为桶(桶的总数为 2^x),另一个 - 与我们的哈希基本相同。我很难理解发生了什么,所以我举个例子。假设你有两个元素,你的哈希函数给出的值从 0 到 2^10 产生了 2 个值:344 和 387。你决定有 16 个桶。所以你有了:

0101 011000  bucket 5 will store 1
0110 000011  bucket 6 will store 4

你能解释一下上面的例子吗?你应该有 16 个桶,因为你有长度为 4 的标题,对吧?那么如何才能拥有 16 个只有两个哈希的桶呢?我们只估计桶,对吗?所以第一个桶大小为 1,第二个桶大小为 4,对吧?如何合并结果?

4

2 回答 2

2

散列函数拆分:我们的目标是使用多个 hyperloglog 结构(例如,假设 16 个 hyperloglog 结构,每个结构使用 64 位散列函数)而不是一个,以减少估计误差。一种直观的方法可能是处理每个超日志结构中的每个输入。但是,在这种情况下,我们需要确保 hyperloglog 彼此独立,这意味着我们需要一组 16 个彼此独立的散列函数——这很难找到!

所以我们使用另一种方法。我们将不使用一系列 64 位散列函数,而是使用 16 个独立的超日志结构,每个结构仅使用一个 60 位散列函数。我们如何做到这一点?很简单,我们采用 64 位散列函数并忽略前 4 位,生成一个 60 位散列函数。我们如何处理前 4 位?我们使用它们从 16 个“桶”中选择一个(每个“桶”只是一个 hyperloglog 结构。注意 2^4 位=16 个桶)。现在,每个输入都被分配给 16 个桶中的一个,其中使用 60 位哈希函数来计算超对数日志值。所以我们有 16 个 hyperloglog 结构,每个都使用一个 60 位的散列函数。假设我们选择了一个不错的哈希函数(意味着前 4 位是均匀分布的,并且它们不是 t 与剩余的 60 位相关),我们现在有 16 个独立的 hyperloglog 结构。我们对他们的 16 个估计值进行调和平均,以得到一个更不容易出错的基数估计值。

希望清除它!

于 2016-10-24T03:39:06.583 回答
1

OronNavon提到的原始 HyperLogLog 论文颇具理论性。如果您正在寻找基数估计器的解释而不需要复杂的分析,您可以查看我目前正在研究的论文:http: //oertl.github.io/hyperloglog-sketch-estimation-paper。它还提供了原始估计量的一般化,不需要对小或大的基数进行任何特殊处理。

于 2016-11-01T10:45:54.083 回答