0

我正在设计和实现(近)实时网络分析引擎。这类似于Google AnalyticsChartBeat。预计每天有近 1.5 亿个请求。我们有 5 到 8 台机器,每台机器配备 2.5GHz(8 核)CPU 和 16 GB RAM。

我正在寻找满足此要求的水平可扩展解决方案。目前,我正在为此目的分析 mongo-hadoop 组合。从我到现在的理解是,很难将所有数据保存在一个地方(一台机器)进行分析。因此,Hadoop 作为数据处理器和 MongoDB 作为数据存储在我看来是一个很好的组合。

这种应用程序是否有标准或(我应该说)经过验证的架构?我应该考虑哪些设计因素?mongo-hadoop 组合对某人有用吗?

4

1 回答 1

2

我假设你已经读过这个?

http://www.mongodb.org/display/DOCS/Hadoop+Quick+Start

此处分片配置的更多详细信息和工作示例 - http://www.slideshare.net/spf13/mongodb-and-hadoop

于 2012-11-18T11:25:00.370 回答