问题标签 [datanode]

我在 AWS EMR - 12 节点集群上运行 Spark/Scala 应用程序。我有多个转换发生，我写入 HDFS 并从 hdfs 回读以完成转换并最终写入 S3。

在这些转换之一中，我最近开始收到以下错误“

根据一些文章和论坛成员的评论，我通过添加以下配置更新了 hdfs-site.xml：

有人可以帮我理解为什么我会收到这个错误吗？以及我需要在 hdfs-site.xml 中更新什么配置来解决这个问题。任何帮助表示赞赏。

配置：我们有 1 个 HDFS Namenode 和 3 个数据节点。

现在，namenode 重新启动，并且由于某种原因集群 ID 发生了更改（Datanodes 仍在运行）

我们尝试将集群 ID 从 datanode 更新到 namenode，反之亦然，但没有运气。Namenode 和 datanode 永远无法同步数据。

由于它很关键并且数据较少，我们格式化了 HDFS。（在格式化之前，我们将整个 BP 文件夹复制到某个存储中）。

现在我们可以将备份文件夹中的数据恢复到 HDFS 吗？

我正在尝试在我的 Windows 10 机器上运行 Hadoop 3.1.1。我修改了所有文件：

• hdfs-site.xml
• mapred-site.xml
• 核心站点.xml
• 纱线站点.xml

然后，我执行了以下命令：

格式运行正确，因此我指示C:\hadoop-3.1.1\sbin执行以下命令：

命令提示符打开 2 个新窗口：一个用于 datanode，另一个用于 namenode。

namenode 窗口继续运行：

虽然datanode给出以下错误：

然后，数据节点关闭！我尝试了几种方法来克服这个错误，但这是我第一次在 Windows 上安装 Hadoop，不知道下一步该做什么！

我有一个由 5 台机器组成的集群：

• 1 个大名称节点
• 4 个标准数据节点

我想用 DataNode 更改我当前的 NameNode 而不会丢失存储在 HDFS 中的数据，所以我的集群可以变成：

• 1个标准NameNode
• 3 个标准数据节点
• 1个大数据节点

有人知道这样做的简单方法吗？

非常感谢

我在我的测试平台中使用 Apache Druid 和 HDFS 的容器化部署。稳定运行 5 天后，我在 HDFS UI 上看到一名 HDFS 工作人员报告为已死亡。在这个“死”工人的容器内，我看到该进程仍然存在，但有数千个 TCP 连接处于 CLOSE_WAIT 状态。我看到在 HDFS JIRA 页面上针对不同版本的 HDFS 提交了很多问题。

HDFS 版本：2.7.5。

容器 ulimit：最多 1048576 个文件。

Druid 是唯一与 HDFS 交互的组件。没有编写无法调用 close() 的自定义代码。

有没有人看到类似的问题并解决了它？

安装后出现错误，无法启动 HDFS 数据节点。

我总是收到错误：

secureMain java.net.BindException 中的异常：bind(2) 错误：尝试绑定到 org.apache.hadoop.net.unix.DomainSocket.bind0 处的“/var/hdfs-sockets/dn”时地址已在使用中（Native方法）在 org.apache.hadoop.net.unix.DomainSocket.bindAndListen(DomainSocket.java:191)

我检查并使用 netstat 我没有得到端口 50010 上的东西很忙，因为数据节点在 50010 上运行

在 /10.0.9.6:50010 打开流媒体服务器。

我尝试通过将参数 dfs.domain.socket.path 设置为不同的路径：

/var/hdfs-sockets/dn

和

/var/hdfs-sockets

这个文件夹是在 NameNode 服务器上创建的，但我也在 DataNode 服务器上创建了它。

我尝试将其设置为 root 用户的所有权，但也设置为 cloudera-scm 用户。

并且总是抛出相同的错误。

有人可以回答我如何解决这种在尝试启动 HDFS 时总是抛出的错误，因为我无法继续？

先感谢您，

我正在检查 hadoop 联盟。这里数据节点是通用的，只有命名空间会不同。我们如何才能仅从一个命名空间中排除一些数据节点。

我是hadoop的新手。我已经在单机上设置了 hadoop - 伪分布式模式。我的 hdfs-site.xml 配置为默认值：

运行后：

hdfs namenode -format
start-all.sh
jps

我有一个名称节点和一个数据节点。
我想在这台机器上有多个数据节点，我尝试按照这个建议进行配置：stackoverflow和我的配置：

我获得零数据节点。任何帮助将不胜感激。

我正在尝试在新的从属设备上启动数据节点，以便将它们添加到实时 hadoop 集群中。但无法使用命令hadoop-daemon.sh start datanode 启动 datanode

我手动创建了文件/var/lib/hadoop-hdfs/dn_socket并更改了它的权限。我还检查了那里的图书馆。

已检查与 datanode 关闭但无法解决问题相关的其他问题。我得到的错误日志也不同如下。

任何帮助表示赞赏。

我们有 ambari 集群版本 - 2.6.1 和 hadoop 版本 2.6.4

数据节点的数量是 - 10

从 ambari 仪表板我们可以看到显示以下内容的窗口：

但几分钟后，所有数据节点都还活着：

几分钟后我们再次看到

似乎namenode没有收到来自datanode的心跳消息超过时间间隔，那么datanode将被标记为“dead”

我们检查以下内容：

1. 主机解析是 - 好的（DNS 是好的）
2. IP 解析正常（DNS 正常）
3. HDFS服务检查成功通过
4. 每个数据节点都已启动（ ps -ef | grep datanode | grep -v grep ）
5. 网络统计-anp | grep '0.0.0.0:50010' 端口没问题
6. systemctl status firewalld.service（防火墙应该是关闭的）
7. sestatus SELinux 状态（禁用）
8. MTU 配置为 9000（我们验证所有组件上的 9000 设置正确）

我们还能做些什么来验证为什么 DataNode alive 不稳定？