hadoop - 通过pig中使用的java jar调用程序

Question

我有一个调用某些控制台程序的 jar 文件。我在 Pig 中使用这个 jar 文件。我的问题是它在本地模式下工作正常，但是当我进入 Hadoop 模式时它失败了。我还在所有节点上对 bashrc 进行了更改，但总是会发生类似的错误。那么如何解决这个问题。

Answer 1

经过几次试验，我得到了答案。首先将文件复制到 hdfs 的 tmp 文件夹中，例如hadoop fs -put YourModule /tmp/ 然后在 pig 脚本中添加如下语句： SET mapred.cache.files /tmp/YourModule#ModuleName; SET mapred.create.symlink 是；

然后在您想要访问这些文件夹中的文件的 jar 文件中，您可以使用路径： ModuleName/filename

而已。它在 hadoop 中运行顺畅，类似于本地模式。