hadoop - Cassandra - Hive 集成

Question

集成 Cassandra 和 Hive 的最佳实践是什么？

Stackoverflow（ Cassandra 与 Hive ）上的一个老问题指向 Brisk，它现在已成为仅限订阅的 Datastax Enterprise 产品。

谷歌搜索只指向两个开放的 jira 问题，

• https://issues.apache.org/jira/browse/CASSANDRA-4131
• https://issues.apache.org/jira/browse/HIVE-1434

但它们都没有导致在两个项目之一中提交任何代码。

集成 Cassandra 和 Hive 修补 Cassandra/Hive 源代码的唯一方法是什么？您在堆栈中使用哪种解决方案？

Answer 1

Datastax 目前有一个用于 Hive 的开源 Cassandra 存储处理程序。

Answer 2

一个月前我做了同样的研究，得出了同样的结论。Brisk 不再作为社区下载提供，除了修补 Cassandra/Hive 代码之外，在 Cassandra 数据库中抛出 map/reduce 作业的唯一方法是使用 DSE——Datastax Enterprise，我相信它可以免费用于任何用途，但生产集群。

您可能会看一下基于HDFS的HBase。

Answer 3

这是一个带有 cassandra 2.0 和 hadoop 2 的 git de cassandra hive 驱动程序， https://github.com/2013Commons/hive-cassandra

和其他 cassandra 1.2

https://github.com/dvasilen/Hive-Cassandra/tree/HIVE-0.11.0-HADOOP-2.0.0-CASSANDRA-1.2.9

Answer 4

您可以使用集成框架或集成套件来解决此问题。请查看我的演示文稿“ Hadoop 之外的大数据 - 如何集成您的所有数据”，了解有关如何将开源集成框架和集成套件与 Hadoop 一起使用的更多信息。

例如，Apache Camel（集成框架）和 Talend Open Studio for Big Data（集成套件）是两个开源解决方案，为 Cassandra 和 Hadoop 提供连接器。