1

我正在使用 Pig 0.11.1(在带有 MR1 的 CDH4 上)和 DBStorage 将聚合结果输出到 MySql2。该作业似乎运行良好(成功完成并生成输出),但我收到以下警告。我做了一些研究,但无法理解警告的含义或它可能产生的影响。任何信息都非常感谢。

2014-06-05 06:42:53,189 [main] INFO org.apache.pig.tools.pigstats.JobStats - 使用输出大小阅读器:org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.FileBasedOutputSizeReader 2014-06- 05 06:42:53,192 [main] WARN org.apache.pig.tools.pigstats.JobStats - 无法找到输出文件 java.io.FileNotFoundException:文件 hdfs://ph-task201.mydomain.com:8020/user /V5/ByContentV2 不存在。在 org.apache.hadoop.hdfs.DistributedFileSystem.listStatus(DistributedFileSystem.java:410) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.FileBasedOutputSizeReader.getOutputSize(FileBasedOutputSizeReader.java:65) 在 org.apache.pig .tools.pigstats.JobStats.getOutputSize(JobStats.java:543) 在 org.apache.pig.tools.pigstats.JobStats.addOneOutputStats(JobStats.java:567) 在 org.apache.pig.tools。

4

1 回答 1

1

该警告表明您没有写入目录的写入权限hdfs://ph-task201.mydomain.com:8020/user/V5/ByContentV2

于 2014-10-20T23:41:57.517 回答