问题标签 [datanode]

我在运行 hadoop 节点时遇到错误

我的配置：

错误：

我尝试了一堆不同的配置，比如为节点故障创建最小阈值

我还在stackoverflow上尝试了无数看起来与此类似的解决方案，但我无法让它工作！

关于堆栈溢出有很多类似的问题，但没有一个能解决我的问题。

我正在尝试启动我的 namenode 和 datanode，其中 namenode 开始工作，但datanode 与资源管理器和节点管理器一起失败。这是显示的错误：

2021-06-17 15:44:09,513 错误 datanode.DataNode：secureMain org.apache.hadoop.util.DiskChecker$DiskErrorException 中的异常：失败的卷太多 - 当前有效卷：0，配置的卷：1，卷失败：1 ，允许的卷故障：在 org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode. java:2799) 在 org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714) 在 org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756)在 org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900) 在 org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924) 2021-06- 17 15:44:09,518 INFO util.ExitUtil：以状态 1 退出：org.apache。hadoop.util.DiskChecker$DiskErrorException：失败的卷太多 - 当前有效卷：0，配置的卷：1，卷失败：1，容错的卷：0 2021-06-17 15:44:09,522 INFO datanode.DataNode：SHUTDOWN_MSG ：

这是我的hdfs-site.xml：

有什么解决办法？

我的组织已经为我设置了所有的 hadoop 环境。我想知道我的hadoop集群的分布情况。我使用了“hdfs getconf -namenodes”，发现有2个namenodes。但是没有得到任何选项来查看他们使用的内存。使用“yarn node -list -all”获取数据节点是否正确？我还想知道datanodes和namenodes的内存大小。

在 Apache HDFS 中，当 DataNode 启动时，它会向 NameNode 注册。一段时间后会发生块报告（与寄存器无关）。我还没有完全理解代码，但在我看来，NameNode 将尚未发送其块报告的 DataNode 视为与已报告的所有其他 DataNode 相同。我得到这个提示是因为DatanodeManger 寄存器逻辑没有将 DataNode 标记为特殊状态，例如NOT_REPORTED.

因此，HDFS 客户端将能够在完成向 NameNode 的报告之前对新的 DataNode 发出读/写操作。让我们讨论一下DataNode是否新鲜。

如果 DataNode 是新鲜的（即无论如何都没有存储块），则可以安全地用于读/写。没有什么可读的。并且写入的块应该在块报告中报告给NameNode。

如果 DataNode 不是新鲜的（即，此 DataNode 上有数据，不知何故它脱机并重新联机），NameNode 端元数据中可能存在间隙，其中一些块存在/从 DataNode 中消失，但 NameNode 还不知道. NameNode 仍然持有上一个报告中的陈旧块位置元数据（如果有的话）。这会导致像下面这样的不一致（当然还有许多其他边缘情况）？

1. NameNode 指示客户端从该 DataNode 读取，但实际上该块已消失。
2. NameNode 指示客户端写入此 DataNode，但该块实际上是存在的。

如果实际上处理了这些不一致，我错过了什么？或者，如果这些不一致无关紧要，为什么？

如果有人可以解释设计中的逻辑或将我指向相关代码，请不胜感激。提前致谢！

我在不同的网络上设置了我的 hadoop 集群。因此，hdfs put当我从笔记本电脑运行它时失败。

是否有我应该转发的端口或远程访问数据节点的东西？我看到它在错误消息中使用本地 IP 地址。

这是命令：hdfs dfs -put ~/Documents/reddit-streaming/redditStreaming/target/redditStreaming-1.0-SNAPSHOT.jar hdfs://mydns.asuscomm.com:8021/user/me/jars/

这是错误消息：

hdfs-site.xml我的笔记本电脑上的文件中有这个属性：

我还可以在 UI 中看到两个数据节点都在运行。

我有一个多节点 hadoop 集群设置。1个主服务器和25个从节点。主节点的大小为 2T，而从节点的大小为 18T。所以我不希望我的主服务器中有一个数据节点，因为它可能会在将来导致存储问题。我该如何配置？我尝试从 conf 中的 slaves 文件中删除 Master，但它没有用。

我是 Hadoop 的新手，当我运行“jps”命令时显示不存在数据节点，但是当我运行 stop-all.sh 或 start-all.sh 时，它显示有一个数据节点已启动和停止我该如何解决这个问题
我尝试了很多解决方案，但没有一个有效我也修改了hdfs-site.xml，但问题仍然存在

这是一个“jps”命令

这里是 /hadoop-moazuser-datanode-moaz-VirtualBox.out.1

和 vim ./hadoop.log.2021-10-19

我在 EKS 上部署了 HDFS，1 个 50G 的名称节点，3 个 20G 卷的数据节点

我想根据datanode的体积扩展datanode

当 hpa 以内存为目标执行时，结果并不好。

我怎样才能根据它的体积向外扩展数据节点？

我已经安装了 Hadoop3.1.3，当我启动 hdfs 服务时，我看到只有 Namenode 和 yarn 服务启动成功。Datanode 服务失败，这是我为 Datanode 获取的错误堆栈。请建议是否有任何解决方法。

注意：以防万一如果需要任何配置文件，我可以分享。

错误：

我试图在 Windows 上安装 Hadoop。Namenode 工作正常，但 Data Node 工作不正常。即使尝试了几次，也会一次又一次地显示以下错误。在 CMD 上显示有关 dataNode 的以下错误：

我参考了许多不同的文章，但无济于事。我尝试使用另一个版本的 Hadoop，但问题仍然存在，因为我刚刚开始，我无法完全理解问题，因此我需要帮助

这些是我的配置

-对于 core-site.xml

• 对于 mapred-site.xml

  mapreduce.framework.name 纱线

-对于yarn-site.xml

-对于 hdfs-site.xml