hadoop - 如何使用 Pig 在 hbase 中加载数据

Question

我想通过 pig 加载数据并将其处理到 HBase 中。我已将文本文件加载到 HDFS。然后我在猪上使用了以下命令。

A = LOAD '/tmp/hive-Vijay.Shinde/file.txt' USING PigStorage(',')
 as (strdata1:chararray, strdata2:int); 

然后我用了，

STORE A INTO 'mydata' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('mycf:strdata2');

mydata 是 HBase 中的表。

它给出了错误：Unhandled internal error

Answer 1

1. 尝试在您的 pig 文件中注册 hbase jar。例如。注册 /home/hadoop/lib/hbase-0.92.0.jar
2. 确保在插入数据之前创建了带有列族的 hbase 表。
3. 还要提到 hadoop、pig 和 hbase 的版本。

4. 您还可以使用 Web 界面检查您的调试日志。如果您在本地运行集群，请使用 localhost/jobtracker.jsp

   这将为您提供有关作业的更有用的日志信息。

Answer 2

此语句可能有效：

STORE A into 'hbase://table_name' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf1:*');