1

我有一个尝试在 HBase 表上生成 MR 作业的 Web UI。我不断收到此错误：

java.io.FileNotFoundException: File /opt/hadoop/mapreduce/system/job_201205251929_0007/libjars/zookeeper-3.3.2.jar does not exist.
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
        at org.apache.hadoop.filecache.DistributedCache.getTimestamp(DistributedCache.java:509)
        at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:629)
        at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:761)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:448)

我正在使用 hbase 0.90.4 运行。HBase 管理自己的 zookeeper。而且，我确认/opt/hadoop/mapreduce/system/job_201205251929_0007/libjars/zookeeper-3.3.2.jar我的 HDFS 中有。它在本地 FS 中查找吗？

4

2 回答 2

2

我发现我的类路径上没有 core-site.xml 并且它为 fs.default.name 使用本地 FS 而不是 HDFS。该 jar 存在于 HDFS 中，但它正在查找本地 FS。

于 2012-06-01T05:13:01.587 回答
1

在 mapper 或 reducer 中访问的任何 jar 文件都需要位于集群中所有节点的本地文件系统中。检查您当地的FS。

于 2012-05-26T16:05:37.777 回答