0

我得到了 Hortonworks Sandbox 2.0，它运行良好。现在我想尝试从 Eclipse 连接，但我做不到。

  • 这是 Eclipse 上的 Hadoop 位置：
    Map/Reduce master：host：localhost，port：50020
    DFS Master：host：localhost，port：50040

错误是：

对 localhost/127.0.0.1:50040 的调用因连接异常而失败：java.net.ConnectionException：连接被拒绝：没有更多信息。

我认为错误可能是不匹配的 Hadoop 插件，因为我使用的是 Hadoop Eclipse 插件 1.2.0，但我找不到适用于 Hadoop 2.2 的 Eclipse 插件

来自线程How to use java to connect hadoop 2.2.0 server的回答说目前没有适用于 Hadoop 2.2.0 的 Eclipse 插件？有人可以指导我完成这个吗？

4

3 回答 3

1

Hadoop 2.2.0 版本不作为一个整体使用jobtracker。纱线已将作业跟踪器的工作分成两半，请参阅 apache hadoop 文档。

首先去 mapred-site.xml 添加以下属性以及所有安装步骤中提到的其他属性：-

mapreduce.jobtracker.address

本地主机：54311

mapreduce.jobtracker.http.address

0.0.0.0:50030

mapreduce.jobhistory.address

0.0.0.0:10020

mapreduce.jobhistory.webapp.address

0.0.0.0:19888

然后将您的hadoop位置配置为：-

Map/Reduce (V2) 大师

主机：本地主机

端口：54311

DFS 大师

选中复选框使用 M/R 主主机

端口：9000**

现在一切都会好起来的。

于 2014-02-05T11:51:55.213 回答
0

当我无法连接到 HortonWorks 沙箱中的 Hive 服务器时，我发现自己处于类似的情况。我发现您用于沙盒的虚拟映像使用 NAT 进行网络连接。那么这意味着来宾操作系统（在这种情况下为沙盒）的 IP 地址与其运行的机器相同。为了实现有效的通信，可视化软件中有端口转发。默认情况下，沙盒中为 Hadoop 配置的端口默认映射到不同（或有时相同）的端口。您可以检查端口转发和配置的规则，以从主机操作系统访问特定的服务/端口。现在，关于 Hadoop 2.2.0 的 eclipse 插件，我还没有成功找到如何去做。因此，随着我的 Hadoop 开发之旅，我将发布更多内容。

于 2014-01-22T12:16:56.793 回答
0

Jacky，不同的服务有不同的端口。

50070是每个 Hadoop 系统都有的 HDFS 服务（因此我建议它）。

8888可能只是 hortonworks 用于某些特定 Web 服务的端口。

50030是 Jobtracker 端口

首先，确保您可以与您的 VirtualBox 连接/通信（主机操作系统可以访问访客服务）。如果是这样，请找出您需要的服务/端口，例如Jobtracker API 错误 - Call to localhost/127.0.0.1:50030 failed on local exception: java.io.EOFException

这可能是很多工作 - 所以如果你知道 Cloudera 发行版有你需要的所有东西 - 去 Cloudera

于 2013-11-26T11:04:18.660 回答