c - 快速值检查？

Question

我有一个 50,000,000+ 512 位值的列表。

我有一个每秒 1,750,000 个值的数据流，我需要检查每个值是否在上述列表中。

目前，我已经通过在 c 中使用 EXISTS 命令在键上选择了 redis。它非常快，我设法每秒检查约 160,000 个值。

但是，我真的需要快 10 倍，因为它会造成瓶颈。有任何想法吗？

Answer 1

假设输入流中的大多数值不存在于列表中，听起来像布隆过滤器可能有助于筛选出绝对不在列表中的值。