hadoop - 寻找关于 Hadoop 的全面评论

Question

我正在寻找一些关于 Hadoop（300-600 箱集群，商品硬件）的性能评估，特别是在以下方面：

1. 高并发读写
2. 网络爬取
3. Mapreduce，并行计算
4. 倒排索引

Answer 1

这不是一个具体的问题，也许这就是为什么直到现在还没有人回答的原因。3-600 节点集群的性能可以通过基准进行最佳分析。

但是，我发现了一些关于 Hadoop 及其在生产中的实现的非常有趣的文章：

• Hadoop 架构及其在 Facebook 的使用
• Rackspace 现在如何使用 MapReduce 和 Hadoop 查询 TB 级数据
• Hadoop 在 16.25 小时内对 PB 排序，在 62 秒内对 TB 排序一文中提供了一些基准测试
• 此外，一个非常有趣的与 Hadoop 相关的博客
• 另一篇与 facebook 和 hadoop 相关的文章是Hive - A Petabyte Scale Data Warehouse using Hadoop

我希望这些链接能让您入门并为您提供所需的所有信息。