eclipse - 在 Eclipse 中运行 Map Reduce 程序

Question

我有一个 Map/Reduce 程序，它加载一个文件并将其读入 hbase。如何通过 Eclipse 执行我的程序？我用谷歌搜索并找到了两种方法：

1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server

但是，我可以通过提供连接详细信息并在 Eclipse 中运行来执行我的 Map/Reduce 程序吗？谁能告诉我运行 Hbase Map/Reduce 程序的确切过程？

Answer 1

我做了以下事情：

• 在我的机器上安装并配置了 hadoop（和 hdfs）
• 为我的 hadoop 工作构建了一个包含所有类的 maven 化的 java 项目
• 其中一个类是我的“MR”或“Job”类，它具有配置和提交我的 hadoop 作业的静态 main 方法
• 我在 Eclipse 中将 MR 类作为 java 应用程序运行

该作业使用 java 项目类路径中的库在 hadoop 中运行（因此不会显示在作业跟踪器中）。对 HDFS 文件的任何引用都使用您使用非 Eclipse hadoop 安装安装和格式化的 HDFS 文件系统。

这与 Eclipse 中的调试器配合得很好，尽管手动构建 JUnit 测试有点痛苦。