hadoop - “风暴”数据处理能力

Question

对于我们每天必须处理至少“2-3 TB”数据的业务用例，我正在对“Hadoop & Storm”进行分析。

毋庸置疑，“Storm”看起来令人印象深刻，因为它在处理传入的大数据方面的效率很高，但我不确定“Storm”是否有能力处理“TB”的数据，同时为我提供实时结果或不是 ？

谁能解释一下？

谢谢， 加金德拉

Answer 1

Storm 是由 Twitter 开发的。他们每天处理超过 8 TB 的数据。听起来这对您的情况应该足够了。Afaik Storm 是分布式计算的最佳流/实时系统。由于作业启动时间和流数据的本地处理，hadoop 不适合它。

事实是，当您有足够的服务器电源和存储等时，两者都可以处理您希望的每天数据。