cassandra - 使用 PIG 和 Cassandra CqlStorage 的 output_query 示例

Question

我正在尝试使用以下方法将数据写入 Cassandra CQL 3 表：

STORE G INTO 'cql://keyapse/col_family?output_query=not sure what goes here' USING CqlStorage();

output_query 是什么样的：

更新 col_family SET col1=$0, col2=$3 WHERE KEY=$2

Answer 1

您需要注意两个方面：存储 URL 和数据准备。这是一个应该有效的例子。

假设您需要在以下结构中插入数据：

CREATE TABLE example (
  row_id text PRIMARY KEY,

  value1 text,

  value2 int
);

您需要像这样准备数据：

data_to_insert = FOREACH some_set_of_data GENERATE 

    TOTUPLE(TOTUPLE('row_id',row_id)), TOTUPLE(value1, value2) ;

最后存储语句将是：

STORE data_to_insert INTO 'cql://my/example?output_query=update example set value1 @ # , value2 @ #' USING CqlStorage();

Answer 2

这个博客有一些细节，但没有具体的例子： http ://www.datastax.com/dev/blog/cql3-table-support-in-hadoop-pig-and-hive

Answer 3

我写了一个简短的如何使用 PIG 作为 Cassandra 的数据加载器，使用 CQL3。

http://www.schapet.com/pig_cassandra_bulk_load

基本设置包括来自@Kernald 的信息

STORE data_to_insert INTO
  'cql://myschema/example?output_query=update example set value1 @ #,value2 @ #' USING CqlStorage();