hadoop - Map Reduce 如何处理搜索到的字符串

Question

像谷歌这样的搜索引擎是基于 Map Reduce 的。它实际上是如何发生的。假设我在搜索中给出一个字符串之后会发生什么进入映射器 映射器作为键值对输出什么进入减速器？谢谢。

Answer 1

一个相关的问题：谷歌怎么可能这么快？

我只知道我曾经和谷歌的一个人讨论过什么（我无法完全验证准确性），但他基本上告诉我他们使用 map reduce 来构建所有网页中出现的所有单词的所有索引。然后为了解决查询，他们使用了这样的东西：http ://en.wikipedia.org/wiki/Distributed_hash_table所以对于你给他们的每个单词，他们可以计算哈希值，并准确地知道他们网络中的哪台计算机有信息（索引）与该词的搜索有关。所以他们将请求转发到那台计算机（他们也使用了很多冗余），这可能会将大部分信息保存在内存中。