1

是否可以使用 Eclipse运行对话框(F11)在远程集群上启动 Map Reduce 作业？

目前我必须使用外部工具链对话框和 Maven 运行它。

注意：在本地集群上执行它与Run Dialog没什么大不了的。但是对于远程连接，必须有一个已编译的 JAR。否则你会得到一个ClassNotFoundException（如果Jar-By-Class设置了）

我们当前的设置是：

  • Spring-Data-Hadoop 1.0.0
  • STS - Springsource 工具套件
  • 马文
  • CDH4

这是我们设置的applicationContext.xml（这是您在 vanilla hadoop 的 *-site.xml 中指定的内容）

 <hdp:configuration id="hadoopConfiguration">
    fs.defaultFS=hdfs://carolin.ixcloud.net:8020
    mapred.job.tracker=michaela.ixcloud.net:8021
</hdp:configuration>

有没有办法告诉 Eclipse 在执行运行对话框时它应该构建一个 JAR 。

4

1 回答 1

0

我不知道它是否构建了一个新的 jar（可能是你必须将一个 jar 提取到一个文件夹中），添加“Run Configurations->Classpath”你的 jar 会清除问题“ClassNotFoundException”。

于 2013-03-14T07:33:29.963 回答