1

我一直在我的项目中使用 spring data hadoop，并且能够在 hadoop 1.x 中运行 distcp 作业。最近我们升级到了 hadoop 2.x，为此我将 spring-data-hadoop 升级到了 2.0.4。大多数东西仍在工作，但我遇到了 distcp 的一些问题。似乎 spring data hadoop 正在像这样调用 distcp

Class<org.apache.hadoop.tools.DistCp> cl = org.apache.hadoop.tools.DistCp.class;
Class<?> argClass = ClassUtils.resolveClassName("org.apache.hadoop.tools.DistCp$Arguments",
                cl.getClassLoader());

https://github.com/spring-projects/spring-hadoop/blob/2.0.4.RELEASE/spring-hadoop-core/src/main/java/org/springframework/data/hadoop/fs/DistCp.java# L274-L275

请注意，spring 代码正在寻找Arguments类中的内部类，Distcp但这个内部类似乎不再存在于较新的 Distcp 代码中。当我运行作业时出现此错误

Caused by: java.lang.IllegalStateException: Cannot run distCp impersonated as 'null'
        at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:268) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
        at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:216) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
        at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:152) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
        at com.att.hadoop.hdfspub.source.hdfs.HdfsFileCopier.copyFolder(HdfsFileCopier.java:104) ~[classes/:na]
        ... 45 common frames omitted
Caused by: java.lang.IllegalArgumentException: Cannot find class [org.apache.hadoop.tools.DistCp$Arguments]
        at org.springframework.util.ClassUtils.resolveClassName(ClassUtils.java:286) ~[spring-core-4.1.4.RELEASE.jar:4.1.4.RELEASE]
        at org.springframework.data.hadoop.fs.DistCp.invokeCopy(DistCp.java:275) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
        at org.springframework.data.hadoop.fs.DistCp.copy(DistCp.java:265) ~[spring-data-hadoop-core-2.0.4.RELEASE.jar:2.0.4.RELEASE]
        ... 48 common frames omitted
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.tools.DistCp$Arguments

在我的 pom.xml 中，我包含了 spring-data-hadoop 2.0.4.RELEASE 和 hadoop-distcp.2.2.0。

4

1 回答 1

0

这已在最近的 2.1 RC1 版本中得到解决，我们还没有考虑将其反向移植到 2.0.x 分支。如果您想尝试使用 2.1.0.RC1 版本，您需要在构建中包含 Spring IO 存储库 - 请参阅项目页面的快速启动部分 - http://projects.spring.io/spring-hadoop/

于 2015-01-20T12:40:36.307 回答