0

我正在以 Ubuntu 主机作为主从运行 hadoop 集群，并在其上运行虚拟机作为另一个从属（2 节点集群）。

似乎应该在没有数据节点启动时解决的问题的解决方案对我不起作用。我尝试了那里解释的两种解决方案。

似乎当我手动将受影响的数据节点的命名空间 ID 等同于名称节点并启动集群（链接帖子中的解决方案 2）时，我仍然得到相同的错误（DataStreamer 异常）。接下来，其中一个数据节点的日志显示了相同的 Incompatible namespaceIDs 错误，但日志中显示的数据节点的命名空间 id 与我的 tmp/dfs/data/current/version 文件（未更改且与 tmp/dfs/name/current/version 相同）

经过数小时的调试后，我仍然一无所知:(。

PS：

  • 从我的主机到从机没有连接问题

  • 当我使用 start-dfs.sh 启动集群时，两个节点上的数据节点都会启动，这通常只是为了澄清。

  • 当我将文件从本地复制到 hdfs 时，我遇到了这个错误。

在这一切之后我进行了一个简单的测试

  • 删除了 master 上的 tmp/dfs/data 和 tmp/dfs/name 文件夹
  • 已删除从站上的 tmp/dfs/data
  • 使用 hadoop namenode -format 格式化 namenode
  • 使用 start-dfs 启动集群。所有节点
  • 它在master上正常启动，datanode也在slave上
  • 现在运行 copyfromLocal 命令，它给了我与下面相同的错误
  • 但是这次在任何datanode日志master或slave中都没有命名空间不匹配错误

14/05/04 04:12:54 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/dsingh/mysample 只能复制到 0 个节点，而不是1 在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920) 在 sun .reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke (Method.java:606) 在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)在 org.apache.hadoop.ipc。Server$Handler$1.run(Server.java:1428) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security .UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

在 org.apache.hadoop.ipc.Client.call(Client.java:1113) 在 org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 在 com.sun.proxy.$Proxy1。 addBlock(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java。 org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invoke( RetryInvocationHandler.java:62) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720) 在 org.apache.hadoop。hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer .run(DFSClient.java:3023)

14/05/04 04:12:54 WARN hdfs.DFSClient：错误恢复 null 坏数据节点 [0] 节点 == null 14/05/04 04:12:54 WARN hdfs.DFSClient：无法获取块位置。源文件“/user/dsingh/mysample” - Aborting... put: java.io.IOException: File /user/dsingh/mysample 只能复制到 0 个节点，而不是 1 14/05/04 04:12： 54 错误 hdfs.DFSClient: 无法关闭文件 /user/dsingh/mysample org.apache.hadoop.ipc.RemoteException: java.io.IOException: 文件 /user/dsingh/mysample 只能复制到 0 个节点，而不是 1 个节点在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920) 在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783) 在 sun.reflect .NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect。

在 org.apache.hadoop.ipc.Client.call(Client.java:1113) 在 org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 在 com.sun.proxy.$Proxy1。 addBlock(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java。 org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invoke( RetryInvocationHandler.java:62) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720) 在 org.apache.hadoop。hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer .run(DFSClient.java:3023)

任何线索都会帮助我。

4

3 回答 3

1

在这个问题上工作了几个小时后。我终于放弃了，在我的知识世界中仍然没有解决。]

但好消息是，我没有在同一台机器上使用虚拟机作为从机，而是将另一台 ubuntu 机器与我的主机连接，每件事情都像魅力一样工作：) 我猜这个问题可能与虚拟存储中有限的虚拟内存分配有关就我而言，机器（小于 500Mb）并且我在某处读到集群中的每个节点都应该有至少 10 GB 的可用空间以保持 HDFS 的快乐。

如果可能的话，我会在两台不同的机器上尝试使用 hadoop 集群，而不是在同一主机上使用虚拟机

于 2014-05-09T05:48:42.077 回答
0

在您执行 -copyFromLocal 之后，Datanode 似乎已准备好获取写入文件的请求。但是，它无法分配文件所需的块。请检查 Datanode 日志以了解究竟发生了什么。此外，运行“hdfs dfsadmin -report”以确保 Datanode 上有足够的空间。

于 2014-05-04T14:57:59.197 回答
-1

我遇到了同样的问题。这都是关于专用于 hdfs 的空间不足的问题。我有 10 个虚拟机 (vmware) 节点，平均为 hdfs 存储 3.5 GB。我使用的是 hadoop 2.6。

您可以通过“_hadoop_location/etc/hadoop/hdfs-site.xml”（对于 hadoop 2.6）配置文件的“dfs.replication”属性值来减少复制次数。您可以减少到较小的数字（如 1 或 2 ) 然后尝试使文件小于您的总空间。

如果它显示相同的问题，请尝试使用小于上次使用的文件大小或重新创建具有更大磁盘大小的机器。

可能会迟到，但它可能会帮助面临同样问题的其他人:) 谢谢。

于 2015-11-04T21:22:06.770 回答