我只是有一个小小的疑问。我正在使用 Hadoop 和 map reduce 。我使用 yahoo-vm 机器制作了带有 eclipse 插件的 map-reduce 应用程序。但是当我自己尝试在我的计算机上单独安装 hadoop 时，即使经过多次尝试，我也无法建立 eclipse 和 HDFS 之间的链接。我想知道构建这些应用程序是否需要 Eclipse？因为我只发现它在向 HDFS 提交输入和接收输出时很有用。甚至可以通过 map redcue 的 fs api 实现自动化。
问问题
1467 次
2 回答
1
MapReduce 程序与任何其他 Java 程序一样，可以在记事本、vi 或任何喜欢的编辑器中开发。NetBeans 和 Eclipse 等 IDE 使 Java 程序的开发更加容易。
这是一篇关于在不使用 Hadoop 插件的情况下在 Eclipse 中开发/调试 Hadoop MapReduce 程序的博客文章。在 Eclipse 中开发/调试程序后，必须创建一个 jar 文件，然后使用该hadoop jar .....命令将其提交到 Hadoop 集群。
于 2013-02-10T13:20:26.923 回答
1
您当然不需要 eclipse 或任何插件来开发在 Hadoop 上运行的 MapReduce 作业。您可以启动 Hadoop 守护程序，将输入数据复制到集群并从控制台提交 MR 作业。各种插件将帮助您创建、执行和调试 MR 作业。
在最小设置中，Eclipse（或任何其他 IDE）可用于编写代码并将最终项目导出到 JAR。您只需要在项目的类路径中引用 hadoop jar。
于 2013-02-10T13:20:55.237 回答