我在 HDP-3.1.0.0 环境中工作，我使用的 HDFS 版本是 3.1.1.3.1，集群由 2 个 Namenode 和 4 个 Datanode 组成。重新启动 HDP 服务（全部停止并全部启动）后，集群似乎运行良好，但我看到以下警报：

我该如何调查这个问题？

我的集群中的服务没有问题，除了 HBase 区域服务器（0/4 live）和 Ambari Metrics Collector。我没用Hbase，所以没注意，会不会是根本原因？我曾尝试启动 Ambari Metrics Collector，但总是失败。

我有以下系统：

• 视窗主机
• 带有 Docker 的 Linux 客户机（在 Virtual Box 中）

我已经在 Docker（Ubuntu，Virtual Box）中安装了 HDFS。我使用了来自 Docker Hub 的 bde2020 hadoop 映像。这是我的码头工人撰写：

我的 hdfs-site.xml 是：

如果我在导航器中从 Linux（在 Virtual Box 内）编写：

http://10.0.1.20:9870

然后我可以访问 Hadoop web ui。

如果我从 Windows（主机系统，在 Virtual Box 外部）的导航器中写入：

http://192.168.56.1:9870然后我也可以访问（我已映射此 IP 以便能够从 Virtual Box 外部连接）。

但是当我在 web ui 中导航并且我想下载文件时会出现问题。然后导航器说它无法连接到服务器 dcfb0bf3b42c 并在地址选项卡中显示如下一行：

如果我将此部分“dcfb0bf3b42c”更改为 IP：10.0.1.21（来自 Linux）或 192.168.56.1（来自 Windows），它将正常工作并下载文件。

我需要自动化这个过程以避免每次都需要手动编写 IP，因为我需要使用程序来访问 HDFS 数据（Power BI），并且当它尝试访问数据时由于上述问题而失败。

我是 Hadoop 新手。我可以通过编辑任何配置文件来解决这个问题吗？

我们有带有 245 台工作机器的 ambari 和 HDP 2.6.4 集群

每个工人都有（数据节点组件和资源管理器组件）

现在我们要向集群添加 10 台新的工作机器

但是我们想禁用数据节点机器，这样HDFS数据就不会从旧数据节点传输到新数据节点

我想在新的数据节点上设置维护模式，

但不确定此操作是否足以禁用新工作人员上的新数据节点机器

所以目标是避免 HDFS 数据从旧数据节点复制到新数据节点

我很乐意就此获得任何建议

假设集群中有 20 个节点，15 个节点有 10 个子文件夹，例如 /data01，... /data10，其他 5 个节点有 6 个子文件夹。数据节点文件夹数量不平衡。
在这种情况下，在块复制中产生问题的可能性更高吗？（例如 ReplicationNotFoundException、BlockMissingException）

如果是这样，在这种情况下除了添加磁盘之外还能做什么？ 谢谢你。

我在本地的windows机器上安装了一个独立模式的Hadoop，一个datanode，复制因子设置为1。我已经上传了一些数据到datanode上。让我们将此现有数据节点称为 datanode1。

我想向 Hadoop 添加额外的一/两个数据节点，并将复制因子更改为二/三并将现有数据复制两次或三次。

例如，我想只添加一个额外的 datanode2，并复制 datanode1 中的所有现有数据。对于任何新上传的数据，它将分别保存在 datanode1 和 datanode2 中，因为复制因子更改为 2。

我试图更改 hdfs-site.xml 文件以反映更改（添加 datanode2 并将复制因子更改为 2）并启动 star-all.cmd，但似乎 datanode1 中的现有数据没有复制和 hadoop仍然只有一个数据节点。

关于如何设置的任何想法？

我在 Google Cloud 上设置了一个 Dataproc 集群。它已启动并正在运行，我可以访问 HDFS 并从 SSH 的“浏览器”控制台复制文件。所以问题不在于 Dataproc 方面。

我现在正在使用 Pentaho（ELT 软件）来复制文件。Pentaho 需要访问主节点和数据节点。

我有以下错误消息：

日志中使用的 IP 地址是我在 Dataproc 中的第一个数据节点的内部 IP。我需要使用外部 IP。

我的问题如下，

客户端文件中的配置文件有什么要更改的吗？

我努力了 ：

没有成功，非常感谢，

数据节点日志是

我有一个 namenode ip 是 10.10.10.21 和一个 datanode 10.10.10.22 。配置双网卡上网。datanode的dhcp ip为10.10.10.108。当我启动我的 hdfs 集群时，datanode 无法注册到 namenode。

我尝试关闭我的dhcp网络，datanode可以注册namenode成功。但是datanode无法访问互联网。

那么，如何在我的datanode上同时上线并成功注册namenode呢？

我正在尝试在 Windows 10 上为 hadoop 3.1.3 调出 datanode 和 namenode，并且我已将所需的 winutils.exe 和 hadoop.dll 保存在 bin 文件夹以及 system 32 文件夹中。但我仍然低于 datanode 的异常：

我知道同一个问题有不同的线程。我去那里尝试了一切

以管理员身份运行，获取正确的 winutils.exe 和 hadoop.dll 并放置在 hadoop/bin 以及 windows 的 system32 文件夹中。但没有任何结果。

以下是我的配置 xml：

我正在尝试从 Ambari 控制台将新的 DataNode 添加到正在运行的集群中。主机>操作>添加新主机。

提供datanode的FQDN>SSH私钥>用户root>22>注册并确认。它因以下日志而失败。请帮助

=========================== 正在创建目标目录...

命令开始时间 2021-04-21 07:29:50 chmod: cannot access '/var/lib/ambari-agent/data': No such file or directory

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal,exitcode=0命令结束时间2021-04-21 07:29:51

=========================== 正在复制 ambari sudo 脚本...

命令开始时间 2021-04-21 07:29:51

scp /var/lib/ambari-server/ambari-sudo.sh host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:51

=========================== 复制常用功能脚本...

命令开始时间 2021-04-21 07:29:51

scp /usr/lib/ambari-server/lib/ambari_commons host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:52

=========================== 正在复制 create-python-wrap 脚本...

命令开始时间 2021-04-21 07:29:52

scp /var/lib/ambari-server/create-python-wrap.sh host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:52

=========================== 正在复制操作系统类型检查脚本...

命令开始时间 2021-04-21 07:29:52

scp /usr/lib/ambari-server/lib/ambari_server/os_check_type.py host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:53

=========================== 运行 create-python-wrap 脚本...

命令开始时间 2021-04-21 07:29:53

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal,exitcode=0命令结束时间2021-04-21 07:29:53

=========================== 正在运行操作系统类型检查...

命令开始时间 2021-04-21 07:29:53 集群主/集群操作系统系列为 redhat7，本地/当前操作系统系列为 redhat7

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal,exitcode=0命令结束时间2021-04-21 07:29:53

=========================== 检查远程主机上的“sudo”包...

命令开始时间 2021-04-21 07:29:53

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal,exitcode=0命令结束时间2021-04-21 07:29:53

=========================== 正在将 repo 文件复制到 'tmp' 文件夹...

命令开始时间 2021-04-21 07:29:53

scp /etc/yum.repos.d/ambari.repo host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:54

=========================== 将文件移动到回购目录...

命令开始时间 2021-04-21 07:29:54

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal, exitcode=0 命令结束时间2021-04-21 07:29:54

=========================== 更改 ambari.repo 的权限...

命令开始时间 2021-04-21 07:29:54

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕host=IP.compute.internal, exitcode=0 命令结束时间2021-04-21 07:29:54

=========================== 正在复制安装脚本文件...

命令开始时间 2021-04-21 07:29:54

scp /usr/lib/ambari-server/lib/ambari_server/setupAgent.py host=IP.compute.internal, exitcode=0 命令结束时间 2021-04-21 07:29:55

=========================== 正在运行安装代理脚本...

命令开始时间 2021-04-21 07:29:55 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml : [Errno 14 ] HTTP 错误 403 - 禁止尝试其他镜像。要解决此问题，请参阅以下 wiki 文章

https://wiki.centos.org/yum-errors

如果以上文章不能帮助解决这个问题，请使用https://bugs.centos.org/。

配置的存储库之一失败（ambari 版本 - ambari-2.7.0.0），并且 yum 没有足够的缓存数据来继续。在这一点上，yum 能做的唯一安全的事情就是失败。有几种方法可以“解决”这个问题：

失败：来自 ambari-2.7.0.0 的 repodata/repomd.xml：[Errno 256] 没有更多镜像可以尝试。 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止 http://public-repo -1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止尝试其他镜像。要解决此问题，请参阅以下 wiki 文章

https://wiki.centos.org/yum-errors

如果以上文章不能帮助解决这个问题，请使用https://bugs.centos.org/。

配置的存储库之一失败（ambari 版本 - ambari-2.7.0.0），并且 yum 没有足够的缓存数据来继续。在这一点上，yum 能做的唯一安全的事情就是失败。有几种方法可以“解决”这个问题：

失败：来自 ambari-2.7.0.0 的 repodata/repomd.xml：[Errno 256] 没有更多镜像可以尝试。 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止所需版本 (2.7.0.0) ambari-agent 包不可用。

与 IP.compute.internal 的连接已关闭。SSH命令执行完毕 host=IP.compute.internal, exitcode=1 命令结束时间 2021-04-21 07:29:59

错误：主机 IP.compute.internal 的引导失败，因为先前的操作以非零退出代码完成 (1) 错误消息：与 IP.compute.internal 的连接已关闭。

标准输出：http ://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止尝试其他镜像。要解决此问题，请参阅以下 wiki 文章

https://wiki.centos.org/yum-errors

如果以上文章不能帮助解决这个问题，请使用https://bugs.centos.org/。

配置的存储库之一失败（ambari 版本 - ambari-2.7.0.0），并且 yum 没有足够的缓存数据来继续。在这一点上，yum 能做的唯一安全的事情就是失败。有几种方法可以“解决”这个问题：

失败：来自 ambari-2.7.0.0 的 repodata/repomd.xml：[Errno 256] 没有更多镜像可以尝试。 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止 http://public-repo -1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止尝试其他镜像。要解决此问题，请参阅以下 wiki 文章

https://wiki.centos.org/yum-errors

如果以上文章不能帮助解决这个问题，请使用https://bugs.centos.org/。

配置的存储库之一失败（ambari 版本 - ambari-2.7.0.0），并且 yum 没有足够的缓存数据来继续。在这一点上，yum 能做的唯一安全的事情就是失败。有几种方法可以“解决”这个问题：

失败：来自 ambari-2.7.0.0 的 repodata/repomd.xml：[Errno 256] 没有更多镜像可以尝试。 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/repodata/repomd.xml：[Errno 14] HTTP 错误 403 - 禁止所需版本 (2.7.0.0) ambari-agent 包不可用。

与 IP.compute.internal 的连接已关闭。

我收到以下数据节点错误，甚至资源管理器也会自动关闭

2021-05-05 01:13:32,029 WARN common.Storage：添加存储目录失败