8

我最近开始学习 Java 中 Hadoop map-reduce 编程的基础知识。到目前为止，我发现的唯一方法是使用 vi 或 emacs 在文件中编写代码，这看起来很糟糕、原始且非常痛苦。

是否有任何用于编写、编译和运行 Hadoop 程序的 IDE？

4

4 回答 4

4

使用Eclipse。Cloudera 有一个很棒的截屏视频，用于配置 eclipse 以进行 hadoop 开发。使用 eclipse 在本地调试 hadoop 作业也很酷（虽然不是微不足道的）。要了解更多信息，请参见此处。

于 2013-03-11T19:01:10.903 回答
3

您还应该查看 IntelliJ IDEA，因为 Apache Hadoop wiki 页面上有关于如何使用它设置开发环境的说明。

参考：

http://www.jetbrains.com/idea/

http://wiki.apache.org/hadoop/HadoopUnderIDEA

于 2013-12-29T00:58:06.900 回答
1

这是在 Eclipse/Linux 上调试/开发 Hadoop 作业的博客。另外，检查Karmasphere Studio。

于 2013-03-18T14:24:53.767 回答
0

是的，可以在 Eclipse 中运行 MapReduce 作业。在集群上和在 Eclipse 中运行 MapReduce 程序有很多不同。下面是值得注意的几点：

  • 在 Eclipse 中，它以一种称为 LocalJobRunner 的特殊模式运行，即所有 Hadoop 守护进程都在单个 JVM 中运行。
  • 在 Eclipse 中，所有路径都是指本地文件路径，而不是 HDFS 路径。
于 2016-10-31T14:52:20.810 回答