hbase - 如何让 Pig 在 HBase 中将行存储为字符串而不是字节？

Question

如果我使用hbase shelland 问题：

put 'test', 'rowkey1','cf:foo', 'bar'
scan 'test'

我会将结果视为字符串，而不是字节。

如果我使用happybase并发出：

import happybase
connection = happybase.Connection('<hostname>')
table = connection.table('test')
table.put('rowkey2', {'cf:foo': 'bar'})
for row in table.scan():
    print row

我会将结果视为字符串，而不是字节。

我在 hive 中有数据，我通过以下方式运行聚合并存储在 HDFS 上：

INSERT OVERWRITE DIRECTORY 'aggregation_test'
SELECT device_id, device_name, sum(device_cost)
FROM devices
GROUP BY device_id, device_name
ORDER BY device_id, device_name

但是，如果我在 Pig 中发出以下命令：

A = LOAD 'aggregation_test' USING PigStorage(',') as (device_id:chararray, device_name:chararray, device_sum:int);
STORE A INTO 'hbase://aggregation_test'
USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
    'cf:device_name, cf:device_sum');

扫描hbase shell并happybase输入字节，而不是字符串。

我什至无法搜索作为字符串的行键。

如何使用 Pig 和 HBaseStorage 将数据从 HDFS 存储到 HBase 作为字符串而不是字节？

Answer 1

您是否尝试过使用 HBaseBinaryConverter 选项？就像是：

store CompleteCases_f into 'hbase://user_test' using
    org.apache.pig.backend.hadoop.hbase.HBaseStorage(
        'id:DEFAULT id:last_modified birth:year gender:female gender:male','-caster HBaseBinaryConverter'
);

Answer 2

在 hbase shell 和 happybase 中的扫描结果是字节，而不是字符串。

我怀疑问题出在您的源数据上，而不是 Pig 进程本身。

为什么不将源数据复制到本地磁盘并检查？就像是：

hadoop fs -copyToLocal /<>/aggregation_test /tmp/aggregation_test
cat /tmp/aggregation_test/*

另一项检查：HBase 中的行数是否与您的预期相符？