1

我从 Hadoop、HBase、Pig 环境开始;我会将数据库存储在 Hbase 表上;这是我的请求:

hbase-> create 创建我的数据库。

我在 HDFS 文件 hadoop dfs-copyFromLocal ~ /data.csv / user / hduser / location.csv 上重新启动了我的 CVS 文件

我执行了我的请求 PIG

raw_data = LOAD '/user/hduser/data.csv' USING PigStorage(';') AS(WMO:int,成熟度:charArray,温度:int,temps_present:int,direction_du_vent:int,force_du_vent:int,压力:int) ;

STORE INTO raw_data 'hbase : // TrafficFlowGrenoble' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage (WMO: int 成熟度: charArray temperature: int temps_present: direction_du_vent int int force_du_vent int pressure: int ');

这是我的错误:2013-07-22 22:30:31,870 [main] 错误 org.apache.pig.tools.pigstats.PigStatsUtil - 1 个地图减少作业失败!2013-07-22 22:30:31,872 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计:

HadoopVersion PigVersion UserId StartedAt FinishedAt Features 1.1.2 0.11.1 hduser 2013-07-22 22:28:45 2013-07-22 22:30:31 UNKNOWN

失败的!

失败的作业:JobId Alias 功能消息输出job_201307222219_0001 raw_data MAP_ONLY 消息:作业失败!Error - Failure JobCleanup Task, Task: task_201307222219_0001_m_000001 hbase :// TrafficFlowGrenoble,

Input(s):从“/user/hduser/data.csv”读取数据失败

输出(s):无法在“hbase :/ / TrafficFlowGrenoble”中产生结果

计数器:写入的总记录:0 写入的总字节数:0 可溢出内存管理器溢出计数:0 主动溢出的包总数:0 主动溢出的总记录:0

版本:hadoop-1.1.2 pig-0.11.1

导出 HBASE_HOME=/usr/lib/hbase

#export PIG_CLASSPATH=”<code>${HBASE_HOME}/bin/hbase classpath:$PIG_CLASSPATH” export HADOOP_CLASSPATH=”<code>${HBASE_HOME}/bin/hbase classpath:$HADOOP_CLASSPATH” #export PIG_CLASSPATH="$PIG_CLASSPATH:/ usr/local/hbase/hbase-0.94.8.jar" export PIG_CLASSPATH="/usr/local/hbase/conf/hbase-site.xml:/usr/local/hbase/hbase-0.94.8.jar:/usr /local/hbase/lib/zookeeper-3.4.5.jar:/usr/local/hbase/lib/$ #export PIG_CLASSPATH=/home/nadir/Documents/pig-0.11.1.jar

4

1 回答 1

0

如果上面的代码正是您所做的,而不是您的输入文件是“/user/hduser/ location .csv”而不是 data.csv,那么 Pig 找不到它

于 2013-07-23T08:06:22.653 回答