hadoop - 数值数据 - 高容量 + 高速 + 快速检索

Question

我的数据看起来像每帧 1000 万个数值（实数 + 二进制）（想想数组，即数组的一行中有 1000 万个元素），大约有 100 帧/秒。一种时间序列。

对我来说挑战是：

(1) 存储——数据量

(2) 处理数据的速度

(3) 实时分析

Cassandra适合这个吗？任何人都可以指导我一些应用程序架构（想想 hadoop、cassandra、kafka、storm 等），这将在上述场景中发挥作用（从非常高的角度来看）。

我知道我问了一些大问题。在实验之前我需要一个方向。

Answer 1

作为存储引擎或数据处理速度，Cassandra 和 Hadoop 将大放异彩。

现在进入实时部分，Cassandra 可以为您提供近乎实时的解决方案，而仅 Hadoop 是不够的（批处理性质、map-reduce 作业）。您可以尝试使用带有 Storm 的 Hadoop，这将为您提供近乎实时的能力，但它会增加解决方案的复杂性（使用 spouts 和 bolts）。您也可以尝试一些规则引擎，这将为您提供实时解决方案的额外优势。