0

当我运行 hadoop 代码添加第三个 jar 时，就像下面的代码：

public static void addTmpJar(String jarPath, JobConf conf) throws IOException {
    System.setProperty("path.separator", ":");
    FileSystem fs = FileSystem.getLocal(conf);
    String newJarPath = new Path(jarPath).makeQualified(fs).toString();
    String tmpjars = conf.get("tmpjars");
    if (tmpjars == null || tmpjars.length() == 0) {
        conf.set("tmpjars", newJarPath);
    } else {
        conf.set("tmpjars", tmpjars + "," + newJarPath);
    }
}

我得到以下异常：

Error initializing attempt_201405281453_0053_m_000002_0:

org.apache.hadoop.util.DiskChecker$DiskErrorException：找不到taskTracker/hadoop/distcache/-7315515059647727905_-860888033_1107570546/nn.hadoop.dev/tmp/hadoop-hadoop/mapred/staging/hadoop/的任何有效本地目录。 staging/job_201405281453_0053/libjars/mahout-core-0.8-job.jar 在 org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:381) 在 org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator .java:146) 位于 org.apache.hadoop.filecache.TaskDistributedCacheManager.setupCache(TaskDistributedCacheManager.java:187) 的 org.apache.hadoop.filecache.TrackerDistributedCacheManager.getLocalCache(TrackerDistributedCacheManager.java:173)。 mapred.TaskTracker$4.run(TaskTracker.java:1320) 在 java.security.AccessController。doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) at org.apache.hadoop.mapred。 TaskTracker.initializeJob(TaskTracker.java:1311) at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1226) at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2603) at java.lang.Thread.run(Thread.java:744)2603) 在 java.lang.Thread.run(Thread.java:744)2603) 在 java.lang.Thread.run(Thread.java:744)

哪位大神知道怎么解决这个问题，谢谢！

4

1 回答 1

0

从命令行，您可以使用 将 jar 添加到分布式-libjars缓存，唯一的先决条件是您的 MR 程序实现使用 GenericOptionsParser 的 Tool，后者负责将 jar 添加到缓存中。

此页面更详细地解释了上述内容

于 2014-05-28T10:06:31.217 回答