1

我已经在亚马逊云中的 ubuntu 12 LTS 服务器上成功安装了 CDH4（1 个服务器）。我使用 Cloudera Manager 免费版安装软件，没有错误）。

我有一个程序，它使用 java API 将文件从我的家用计算机加载到云中的 HDFS。我想知道为什么这个程序会失败以及如何修复它。

Configuration conf = new Configuration();       
conf.set("fs.defaultFS", "hdfs://node01:8020");
FileSystem fs = FileSystem.get(conf);       
Path targetPath = new Path("/users/<username>/myfile.txt");
Path sourcePath = new Path("/home/<username>/myfile.txt");
fs.copyFromLocalFile(false,true,sourcePath,targetPath);

我收到以下错误（名称节点日志）：

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/<username>/myfile.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1322)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2170)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:471)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:297)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44080)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687)

然后我将我的代码上传到云端并在本地运行代码（将文件从本地 fs 上传到 hdfs）没有任何错误。只有当我从我的个人计算机运行代码时才会发生这种情况......

当我在云服务器上使用 cli 'hadoop fs -put' 命令时，写入 hdfs 时没有错误。我还可以使用 Hue 上传文件。我做了一些阅读，发现当没有足够的磁盘空间时会出现这个问题，但是我有足够的 dfs 和非 dfs （见下面的报告）。我可以从家用计算机上使用 java API 成功读取 hadoop 文件系统，甚至可以使用 API 从 HBase 连接和读/写。所有端口都对我在此服务器上的 IP 开放。已检查文件权限。程序失败后，我在 hdfs 看到了我尝试上传的文件，但是内容是空白的（类似这篇帖子：https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!主题/cdh-user/XWA-3H0ekYY )

这是 hdfs dfsadmin -report 的输出

Configured Capacity: 95120474112 (88.59 GB)
Present Capacity: 95120474112 (88.59 GB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used: 81465344 (77.69 MB)
DFS Used%: 0.09%
Under replicated blocks: 177
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: privateip:port (node01)
Hostname: node01
Rack: /default
Decommission Status : Normal
Configured Capacity: 95120474112 (88.59 GB)
DFS Used: 81465344 (77.69 MB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used%: 0.09%
DFS Remaining%: 99.91%
Last contact: Sun Jan 27 03:01:53 UTC 2013
4

1 回答 1

2

我已经解决了问题-

我正在从我的家用机器连接到 hadoop，而不是在 hadoop 本地网络上。显然，当您这样做时，namenode 会告诉我的家用计算机使用 datanode 的私有 IP 写入 datanode。不在同一个网络上，我的家用机器无法连接到创建此错误的数据节点。

我通过创建从我的家庭网络到 hadoop 网络的 VPN 连接解决了这个问题，现在一切正常。

于 2013-02-08T16:39:30.907 回答