3

我写了一个简单的程序来测试java中的嵌入式pig以mapreduce模式运行。我运行的服务器中的hadoop版本是0.20.2-cdh3u4a，pig版本是0.10.0-cdh3u4a。

当我尝试在本地模式下运行时，它运行成功。但是当我尝试在 mapreduce 模式下运行时，它给了我错误。

我使用以下命令运行我的程序，如http://pig.apache.org/docs/r0.9.1/cont.html#embed-java中所示

javac -cp pig.jar EmbedPigTest.java
javac -cp pig.jar:.:/etc/hadoop/conf EmbedPigTest.java input.txt

我的程序给出的错误如下：

Exception in thread "main" java.lang.RuntimeException: Failed to create DataStorage
        at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:75)
        at org.apache.pig.backend.hadoop.datastorage.HDataStorage.<init>(HDataStorage.java:58)
        at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:214)
        at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:134)
        at org.apache.pig.impl.PigContext.connect(PigContext.java:183)
        at org.apache.pig.PigServer.<init>(PigServer.java:226)
        at org.apache.pig.PigServer.<init>(PigServer.java:215)
        at org.apache.pig.PigServer.<init>(PigServer.java:211)
        at org.apache.pig.PigServer.<init>(PigServer.java:207)
        at WordCount.main(EmbedPigTest.java:9)

在一些在线资源中，他们说这个问题是由于不同的 hadoop 版本而发生的。但是，我不明白我应该做什么。请给点建议！！

4

2 回答 2

2

发生这种情况是因为您链接到了错误的 jar，请参阅下面的链接，它很好地描述了这个问题。

http://localsteve.wordpress.com/2012/09/30/embedding-pig-for-cdh4-java-apps-fer-realz/

于 2013-08-05T21:42:10.270 回答
0

当我尝试在 map reduce 模式下使用 pig 而不启动服务时，我遇到了同样的问题。

在 map reduce 模式下使用 pig 之前，请检查所有使用 jps 的服务。

于 2015-10-13T18:04:09.207 回答