我想听听您对使用 CQL 和内存查询引擎 Spark/Shark 的想法和经验。据我所知，CQL 处理器在每个节点上的 Cassandra JVM 中运行。与 Cassandra 集群相连的 Shark/Spark 查询处理器在一个单独的集群中运行。此外，Datastax 有 DSE 版本的 Cassandra，它允许部署 Hadoop/Hive。问题是在哪个用例中我们会选择一个特定的解决方案而不是另一个。
问问题
9583 次
2 回答
33
我将根据我的经验分享一些想法。但是，如果可能的话，请让我们知道您的用例。它将帮助我们以更好的方式回答您的问题。
1- 如果您的写入次数多于读取次数，Cassandra 显然是一个不错的选择。话虽如此，如果您来自 SQL 背景并计划使用 Cassandra，那么您肯定会发现 CQL 非常有用。但是，如果您需要执行 JOIN 和 GROUP BY 之类的操作，即使 CQL 通过写入时间和紧凑时间排序解决了原始的 GROUP BY 用例并实现了一对多关系，CQL 也不是答案。
2- Spark SQL（以前的 Shark）非常快，原因有两个，内存处理和规划数据管道。内存处理使其比 Hive 快约 100 倍。与 Hive 一样，Spark SQL 可以很好地处理大于内存的数据类型，并且由于计划的管道，它的处理速度提高了 10 倍。当存在多个数据管道（如 filter 和 groupBy）时，情况会转向 Spark SQL。当您需要临时实时查询时，请使用它。当您需要对大量数据进行长时间运行的作业时，它不适合。
3- Hive 基本上是一个在您现有的 Hadoop 集群之上运行的仓库，并为您提供类似 SQL 的界面来处理您的数据。但 Hive 并不适合实时需求。它最适合离线批处理。不需要任何额外的基础设施，因为它使用底层 HDFS 进行数据存储。当您必须对大型数据集和 OLAP 执行 JOIN、GROUP BY 等操作时，请使用它。
Note :Spark SQL 在 Spark 之上模拟 Apache Hive 行为，因此它支持几乎所有 Hive 功能，但速度可能更快。它支持现有的 Hive 查询语言、Hive 数据格式 (SerDes)、用户定义的函数 (UDF) 和调用外部脚本的查询。
但我认为，只有亲自动手之后，您才能正确评估所有这些工具的优缺点。我可以根据您的问题提出建议。
希望这能回答您的一些疑问。
PS：以上答案仅基于我的经验。欢迎评论/更正。
于 2013-06-14T20:28:35.443 回答
6
这里记录了一个非常好的基准测试 - https://amplab.cs.berkeley.edu/benchmark/
于 2013-09-29T17:11:46.813 回答