hadoop - hadoop之上的列存储？

Question

是否有一个类似于 Vertica 的列存储，它是建立在 Hadoop 之上的。我不是在谈论 HBase，因为它是稀疏矩阵存储，并且无法获得像 Vertica 这样的东西可以实现的压缩级别？

谢谢

score 3 · Accepted Answer

3

你在寻找类似RCFile的东西吗？它是一种在内部使用列式存储的文件类型。

于 2011-01-12T18:54:57.620 回答

score 1 · Accepted Answer

RCFile 是一个好的开始。RCFile 以 PAX 布局存储数据——在可能与 HDFS 的块大小一样大的块内呈柱状。在 VLDB 2011 上有一篇论文在此处描述了另一种列式存储格式，在此处有一篇与 RCFile 进行简短比较的博文。

score 0 · Accepted Answer

我没有使用过 Hadoop，但我知道 Vertica 一直在尝试与 Hadoop 集成。

score 0 · Accepted Answer

这是 HadoopDB 的商业版本http://db.cs.yale.edu/hadoopdb/hadoopdb.html 在耶鲁大学开发。它可以与面向列的数据库（安装在计算机集群的每个节点上）一起使用，同时利用 Hadoop 进行容错执行。

4 回答 4