我们最近升级了集群以使用 Hadoop 2.0.0-cdh4.4.0。
更改后，我们需要重新安装 pig，它曾经可以正常工作。如此处所述安装后，不会创建最简单的 HBase 作业。
raw_protobuffer = LOAD 'hbase://data_table' 使用 org.apache.pig.backend.hadoop.hbase.HBaseStorage('external_data:downloaded', '-limit=1 -gte=0 -lte=1') AS（数据：字节数组）；
魔法失败了：
失败的作业：JobId 别名功能消息输出 N/A raw_protobuffer MAP_ONLY 消息：org.apache.pig.backend.executionengine.ExecException：错误 2118：对于输入字符串：org.apache 处的“4f8:0:a111::add:9898” .pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:288) 在 org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:1063) 在 org.apache.hadoop.mapred.JobClient .writeSplits(JobClient.java:1080) 在 org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:992) 在org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:945) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org .apache.hadoop。security.UserGroupInformation.doAs(UserGroupInformation.java:1408) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:945) at org.apache.hadoop.mapreduce.Job.submit(Job.java:566)在 org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:319) 在 org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.startReadyJobs(JobControl.java:239) 在 org.apache .hadoop.mapreduce.lib.jobcontrol.JobControl.run(JobControl.java:270) 在 org.apache.pig.backend.hadoop23.PigJobControl.run(PigJobControl.java:160) 在 java.lang.Thread.run(Thread .java:744) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:257) 引起：java.lang.NumberFormatException：对于输入字符串：“4f8:0:a111 ::add:9898" 在 java.lang 中。NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:492) at java.lang.Integer.parseInt(Integer.java:527) at com.sun.jndi.dns.DnsClient .(DnsClient.java:122) 在 com.sun.jndi.dns.Resolver.(Resolver.java:61) 在 com.sun.jndi.dns.DnsContext.getResolver(DnsContext.java:570) 在 com.sun。 jndi.dns.DnsContext.c_getAttributes(DnsContext.java:430) 在 com.sun.jndi.toolkit.ctx.ComponentDirContext.p_getAttributes(ComponentDirContext.java:231) 在 com.sun.jndi.toolkit.ctx.PartialCompositeDirContext.getAttributes( PartialCompositeDirContext.java:139) 在 com.sun.jndi.toolkit.url.GenericURLDirContext.getAttributes(GenericURLDirContext.java:103) 在 javax.naming.directory.InitialDirContext.getAttributes(InitialDirContext.java:142) 在 org.apache.hadoop .net.DNS。reverseDns(DNS.java:85) at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(TableInputFormatBase.java:219) at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:184)在 org.apache.pig.backend.hadoop.hbase.HBaseTableInputFormat.getSplits(HBaseTableInputFormat.java:87) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:274) .. . 16 更多executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:274) ... 还有 16 个executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:274) ... 还有 16 个
我们怀疑对 tmp 文件夹的权限，但它们似乎没问题（即，作业目录是用 pig runner (!) 作为其所有者创建的）。任何我们可能错过的建议将不胜感激。