eclipse - 在 CDH4 中使用 eclipse 的 mapreduce 程序

Question

我对 Java、eclipse 和 Hadoop 很陌生，所以如果我的问题看起来太愚蠢，请原谅我的错误。

问题是：

我在云平台上有 RHEL5 的 3 节点 CDH4 集群。CDH4设置已经完成，现在我想写一些示例mapreduce程序来了解它。这是我对如何做到这一点的理解：要编写 Java mapreduce 程序，我必须在我的主服务器中安装 Eclipse，对吗？我应该选择哪个版本的 Eclipse。仅仅安装 eclipse 是不够的，我必须做一些设置更改，以便它可以使用我的 CDH 集群，这样做需要什么？最后但并非最不重要的一点是，你们能否推荐一些网站，我可以在其中获得更多关于相同的信息，记住我只是所有这些的初学者..:)

在此先感谢... pankaj

Answer 1

Pankaj，您可以随时访问官方页面。除此之外，您可能会发现这些链接很有帮助：

• http://blog.cloudera.com/blog/2013/08/how-to-use-eclipse-with-mapreduce-in-clouderas-quickstart-vm/
• http://cloudfront.blogspot.in/2012/07/how-to-run-mapreduce-programs-using.html#.UgH8OWT08Vk

在主服务器上安装 Eclipse 不是强制性的（主服务器=主机？？？）。Eclipse 的最后 3 个版本中的任何一个都可以正常工作。不知道早期版本。您可以直接通过 Eclipse 运行作业，也可以在 Eclipse 中编写作业并将其导出为 jar。然后，您可以将此 jar 复制到您的 JT 机器，并使用hadoop/jar命令通过 shell 执行它。如果您直接通过 eclipse 运行您的工作，您需要通过以下属性告诉它您的 NameNode 和 JobTracker 机器的位置：

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

（根据您的配置更改主机名和端口）。

一个快速的建议。在发布问题之前，您始终可以搜索此类内容。网上有很多信息，而且很容易获得。

高温高压