7

这是关于我在从 Apache Spark 查询 Cassandra 时遇到的问题。

Spark 的正常查询工作正常，没有任何问题，但是当我使用作为关键的条件进行查询时，我得到以下错误。最初我尝试查询复合键列族，它也给出了与下面相同的问题。

“原因：InvalidRequestException（为什么：empid 不能受多个关系限制，如果它包含 Equal）”

列族：

CREATE TABLE emp (
empID int,
deptID int,
first_name varchar,
last_name varchar,
PRIMARY KEY (empID));

列族内容：

empID, deptID, first_name, last_name

104, 15, 'jane', 'smith'

示例 SCALA 代码：

val job=new Job()
job.setInputFormatClass(classOf[CqlPagingInputFormat])
val host: String = "localhost"
val port: String = "9160"
ConfigHelper.setInputInitialAddress(job.getConfiguration(), host)
ConfigHelper.setInputRpcPort(job.getConfiguration(), port)
ConfigHelper.setInputColumnFamily(job.getConfiguration(), "demodb", "emp")
ConfigHelper.setInputPartitioner(job.getConfiguration(), "Murmur3Partitioner")
CqlConfigHelper.setInputColumns(job.getConfiguration(), "empid,deptid,first_name,last_name")
//CqlConfigHelper.setInputCQLPageRowSize(job.getConfiguration(), limit.toString)
CqlConfigHelper.setInputWhereClauses(job.getConfiguration(),"empid='104'")

// Make a new Hadoop RDD
val casRdd = sc.newAPIHadoopRDD(job.getConfiguration(),
                                classOf[CqlPagingInputFormat],
                                classOf[Map[String, ByteBuffer]],
                                classOf[Map[String, ByteBuffer]])

我恳请您让我知道这种情况是否有任何解决方法，因为过去几天我一直在努力克服这个问题。

谢谢

4

1 回答 1

1

出现此错误的原因是查询在 Cassandra 中的翻译方式（请org.apache.cassandra.hadoop.cql3.CqlPagingRecordReader#whereClause查看详细信息）。当查询被翻译成 Cassandra 时，它具有以下语法：

SELECT * FROM "emp" WHERE token("empid") > ? 和令牌（“empid”）<=？AND empid='104' 限制 1000 允许过滤

有一个相关的 JIRA ( CASSANDRA-6151 ) 标记 as won't fix 讨论了一些解决问题的方法。从我发现的小文档CqlConfigHelper.setInputWhereClauses中，只能在不属于键的索引列上使用。

我希望它有所帮助。

于 2014-02-11T09:13:56.553 回答