问题标签 [namenode]

我面临一个非常奇怪的问题。我已经在 openshift 容器上使用 ambari 安装了 HDP 2.6.4 集群。一切工作正常，除了一件事，我添加了 8 个数据节点，并且一次只有 5 个数据节点处于活动状态。

主要问题是，当我检查它的 namenode web ui 或 hdfs dfsadmin -report 时，活动节点的名称会在一段时间后不断变化。而活动节点的总数是相同的 5/8。我试图检查datanodes日志正在重新启动ambari-agent和datanodes，datanode日志中没有错误。

问题依然存在。PFA 具有不同活动节点名称的 namenode webui 图片。在 pic-1 中显示 node-7 在 pics-2 中显示 node-8 在 live 中，它也与其他节点名称保持一致。

我在名称节点日志中不断低于日志

任何方向都会有所帮助。

- 谢谢

我有2台服务器hadoop，一台是namenode，另一台是辅助namenode。两者都是datanode，目前当我想使用namenode 8020的端口读取文件时，它可以工作，但是所有网络负载都转到该节点，有没有办法划分网络负载以利用两台服务器？

我感谢您的帮助

HDFS 块的校验和与块的原始内容一起存储在本地文件中，两者都在每个专用数据节点（副本）上。

我想知道：块的校验和是否也存储在名称节点中，作为文件元数据的一部分？

我在 Ubuntu 上有 Hadoop 2.9.0

但是当我尝试start-dfs.sh 启动namenode时没有显示错误但是当我输入时jps，只有

接缝已经开始，而不是namenode

尝试过的事情：=>删除了临时文件并格式化了namenodehadoop namenode -format

终端：

我的测试环境

我正在尝试Hadoop Cluster基于 3 个节点部署到我的测试环境中：

• 1 个名称节点（主节点：172.30.10.64）
• 2 个数据节点（slave1：172.30.10.72 和 slave2：172.30.10.62）

我将具有主属性的文件配置到我的名称节点中，并将从属属性配置到我的数据纳米节点中。

大师的档案

主持人：

hdfs-site.xml：

核心站点.xml：

纱线站点.xml：

mapred-site.xml ：

我有奴隶文件：

主文件：

奴隶档案：

我只添加了针对主文件更改的文件。

hdfs-site.xml：

我的问题

我从/usr/local/hadoop/sbin：

./start-dfs.sh && ./start-yarn.sh

这就是我得到的：

所以我从我的 slave2 打开了日志文件：

我做了什么

我尝试了一些东西，但到目前为止没有任何效果：

• 从主机到从机和从机之间 ping 工作正常
• 从主机到从机和从机之间的 ssh 工作正常
• hdfs namenode -format在我的主节点
• 重新创建 Namenode 和 Datanaode 文件夹
• 在我的主虚拟机中打开端口 9000
• 防火墙被禁用：sudo ufw status-> 禁用

我有点迷茫，因为一切似乎都很好，我不知道为什么我不克服启动我的 hadoop 集群。

I am trying to upgrade Hadoop from 1.1.2 to 2.9.0

I had executed the command start-dfs.sh -upgrade on hadoop 2.9.0 cluster.

It shows that upgrade is in process and not yet finalized. I have been waiting for long but still showing the same status.

How to track the status of upgrade process?

我试图让 Hadoop 在我的 Windows 10 机器上运行“本地模式”。当我运行命令时：

我收到以下错误消息，并且未创建包含 hdfs 的文件夹 hadoop。为什么我会收到此错误？

我正在尝试遵循 Hadoop Apache 网站的入门指南，特别是伪分布式配置， Apache Hadoop 3.1.0 的入门指南

但我无法启动 Hadoop 名称和数据节点。任何人都可以帮忙建议吗？即使它的东西我可以运行以尝试进一步调试/调查。

在日志的末尾，我看到一条错误消息（不确定它是重要的还是红鲱鱼）。

我已经确认，我可以ssh localhost在没有密码提示的情况下使用。我还从上面提到的 Apache 入门指南中运行了以下步骤，

1. $ bin/hdfs 名称节点-格式
2. $ sbin/开始-dfs.sh

但我无法运行第 3 步来浏览http://localhost:9870/的位置。当我从终端提示符运行 >jsp 时，我刚刚返回，

14900 日元

我期待我的节点列表。

我将附上完整的日志。

任何人都可以提供调试方法吗？

Java 版本，$ java --version

EDIT1：我也用 Java8 重复了这些步骤，并得到了相同的错误消息。

127.0.0.0EDIT2：按照下面的评论建议，我检查了我现在肯定指向 Java8，并且我还从/etc/hosts文件中注释掉了 localhost 设置

Ubuntu版本，

$ lsb_release -a

我试过运行命令，bin/hdfs version

当我尝试时bin/hdfs groups它不会返回但给了我，

当我尝试时，$ bin/hdfs lsSnapshottableDir

当我尝试时，$ bin/hdfs classpath

核心站点.xml

hdfs-site.xml

mapred-site.xml

我使用 Cloudera Manager 5 安装了 HDFS。然后我尝试浏览http://localhost:50070/ (Hdfshealth) 它不起作用！请帮忙 ！

我的系统组成：

1. Ubuntu x32 位 (i386.iso)
2. hadoop-1.2.1
3. java 1.8.0_171

所以当我运行这个命令时：

我得到这些错误：

WARN util.NativeCodeLoader: 无法为您的平台加载 native-hadoop 库

……

SHUTDOWN_MSG：在 ubuntu/127.0.1.1 关闭 NameNode