database - 什么数据库，在哪个设置中可以处理每分钟数百万次插入？

Question

我们已经到了这样一个地步，对于我们的少数客户的系统，在高峰时间，事件会以如此疯狂的速度生成。也就是说，每分钟有数百万个新事件（在 1M 和 2M 之间）。

记录/文档大小平均为 1.5Kb。

是否有数据库可以处理如此激进的写入速度（每秒 16K - 32K 插入）？

有几个候选人，Cassandra、Hive、Hadoop、HBase、Riak 和其他一些候选人，但我愿意从其他人的经验中了解，而不仅仅是引用每个 db-system 网站的自我评价。

如果您在工作中处理过此类负载，我们非常感谢您的建议。

Answer 1

Couchbase可以轻松处理这种写入速度。不确定您有多少预算（您将看什么尺寸的机器），但获得三个 m3.2xl 可以轻松达到 80K/s 并且仍然具有复制以实现冗余和故障转移。当然，使用 raid0 配置多个 ebs 卷和预置的 IOPS 将使事情保持稳定。

当然，如果我们变得更具体，我会问更多关于它的问题，比如有多少工作集需要读取访问权限等，这有助于调整解决方案。