我正在寻找能够运行与示例和测试 jar 相关联的 hadoop 作业的 jar 文件。过去它们位于 /usr/lib/hadoop 下,但显然不再存在。指针表示赞赏。
注意:这个问题最初是针对 CDH4.2 的。但一些答案包括更高版本的信息
find / -name hadoop-mapreduce-examples*.jar
/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.7.0.jar
/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
在 CentOS 版本 6.5(最终版)上的单节点 Hadoop 2.3.0-cdh5.0.2 设置中,我在 /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.0.3 找到了映射示例。 jar(符号链接自 /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar)。通过http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_tips_guidelines.html。
我在 /usr/local/lib 下找到了它们,如下所示(将 4.2.1 替换为您正在使用的特定 cloudera 版本):
mrv1:/usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar mrv2:/usr/local/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0 .0-cdh4.2.1.jar
所以我们可以这样运行:hadoop jar /usr/local/lib/hadoop_mr1/hadoop-examples-2.0.0-mr1-cdh4.0.1.jar pi 500 40
正如其他人提到的,根据操作系统和安装程序,可以配置安装位置。对于 RHEL 上的 CDH4,使用 cloudera 管理器作为安装程序,可以在以下位置找到示例和测试 jar。
/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
'/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/hadoop/hadoop-common-2.0.0-cdh4.2.0-tests.jar'
因此,他们根据新 API 中的 hadoop 目录更改移动了一些东西。
${CDH4_DIR}/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar
${CDH4_DIR}/share/hadoop/common/hadoop-common-*-tests.jar
但是大多数jar文件现在所在的目录在
${CDH4_DIR}/share/hadoop/
我在我的环境中发出 find 命令。Red Hat Linux. Hadoop 2.5.0
查找 / -name示例.jar /app/hadoop-2.5.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.0-sources.jar /app/hadoop-2.5.0/share/hadoop/ mapreduce/sources/hadoop-mapreduce-examples-2.5.0-test-sources.jar
/app/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar
/usr/java/jdk1.6.0_24/demo/jpda/examples.jar