0

我有一个来自 hadoop 现实世界解决方案食谱的非常简单的脚本示例,我在 amazon cloudera clustertogov04 ami 上尝试了它,它给了我无法 mkdir 的 java 异常?但我有足够的磁盘空间??

[ec2-user]$ df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/xvde1             8255928   3307252   4529300  43% /
tmpfs                  3757068         0   3757068   0% /dev/shm
/dev/xvdk            103212320    192116  97777324   1% /data

继承人脚本,命令,错误输出

weblogs = load '/data2/weblogs/weblog_entries.txt' as
(md5:chararray,
url:chararray,
date:chararray,
time:chararray,
ip:chararray);
md5_grp = group weblogs by md5 parallel 4;
store md5_grp into '/data/weblogs/weblogs_md5_groups.bcp';


pig -x local -f pig02 2>err02

2013-06-20 19:57:29,499 [Thread-4] INFO org.apache.hadoop.mapred.Merger -到最后一个合并通道,总大小还剩 1 段:299132 字节 2013-06-20 19 :57:29,499 [Thread-4] INFO org.apache.hadoop.mapred.LocalJobRunner - 2013-06-20 19:57:29,519 [Thread-4] WARN org.apache.hadoop.mapred.LocalJobRunner - job_local_0001 java.io .IOException:Mkdirs 未能创建文件:/data/weblogs/weblogs_md5_groups.bcp/_temporary/_attempt_local_0001_r_000000_0 LocalJobRunner$Job.run(LocalJobRunner.java:309) 2013-06-20 19:57:33,176 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 作业 job_local_0001 失败了!停止运行所有相关作业
2013-06-20 19:57:33,180 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% 完成
2013-06-20 19:57:33,182 [main] 错误 org.apache .pig.tools.pigstats.PigStatsUtil - 1 个地图减少作业失败!
2013-06-20 19:57:33,182 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 检测到本地模式。下面报告的统计数据可能不完整
2013-06-20 19:57:33,185 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计:

HadoopVersion PigVersion UserId StartedAt FinishedAt Features
2.0.0-cdh4.1.2 0.10.0-cdh4.1.2 ec2-user 2013-06-20 19:57:27 2013-06-20 19:57:33 GROUP_BY

失败的!

Pig Stack Trace ---------------
ERROR 2244: Job failed, hadoop 不返回任何错误信息

org.apache.pig.backend.executionengine.ExecException: ERROR 2244: Job failed, hadoop 在 org.apache.pig.tools.grunt.GruntParser.executeBatch(GruntParser.java:140) 处不返回任何错误消息.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:193)
在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:165) 在 org.apache.pig.tools.grunt.Grunt .exec(Grunt.java:84)
在 org.apache.pig.Main.run(Main.java:430)
在 org.apache.pig.Main.main(Main.java:111) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 在 sun.reflect.DelegatingMethodAccessorImpl .invoke(DelegatingMethodAccessorImpl.java:25) 在 java.lang.reflect.Method.invoke(Method.java:597)

在 org.apache.hadoop.util.RunJar.main(RunJar.java:208)

4

1 回答 1

0

看起来您的 Hadoop 作业无法创建您在STORE

您是否尝试将输出存储到其他位置,例如您的主目录?

另外仅供参考,Pig 不会将其输出保存到名为“weblogs_md5_groups.bcp”的文件中,它实际上会创建一个具有该名称的目录。

于 2013-06-20T20:19:48.200 回答