0

我想使用 Hadoop Eclipse 插件来运行 WordCount 示例。

我有系统：本地：Windows 7、Eclipse Juno (4.2.2)、hadoop-1.2.1 解压。远程：Debian 7.1 安装并测试了相同的 hadoop 版本。

我按照以下位置的说明进行操作：http: //iredlof.com/part-4-compile-hadoop-v1-0-4-eclipse-plugin-on-ubuntu-12-10/ 并在 Windows 机器上构建了插件。

hadoop 正在运行，使用 hadoop-examples wordcount 和我新创建的 WordCount 进行了测试。

插件的工作原理：

  • 我可以创建一个新的 MR 项目
  • 我可以添加新的 MR 位置（在我的情况下是远程的）
  • 我可以从 DFS 浏览/上传/下载/删除文件，

什么不起作用：

  • 我无法运行我的代码（使用 Run as ... Run to Hadoop）。控制台写入“ClassNotFoundException：WordCountReducer”。在 hadoop 作业日志中可以找到相同的错误。

我从我的项目中导出了 jar，将它复制到远程机器上并从命令行启动了 hadoop。一切都按预期工作。

我还看到，在远程机器上手动启动项目时，hadoop 在 user/.staging 目录中创建了一个 job.jar。从 Eclipse 启动项目时，缺少此 jar。

我的问题是：如何从 Eclipse 插件运行我的项目？

谢谢

4

1 回答 1

1

从您的工作驱动程序中设置用户。

System.setProperty("HADOOP_USER_NAME", "YourUbuntuUserID");

它可能会起作用。试着让我知道。

于 2013-08-08T08:41:52.310 回答