问题标签 [datanode]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
13 浏览

hadoop - 每当我重新启动我的 ubuntu 系统(Vbox)并启动我的 hadoop 时,我的名称节点都无法正常工作

每当我重新启动我的 ubuntu 系统 (Vbox) 并启动我的 Hadoop 时,我的名称节点都无法正常工作。

为了解决这个问题,每次重新启动系统时,我都必须始终保存 namenodedatanode的文件夹并格式化 Hadoop。

由于 2 天我试图解决这个问题,但它不起作用。我尝试再次将权限 777 授予 namenode 和 datanode 文件夹,我也尝试更改相同的路径。

我的错误是

org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:目录/blade/Downloads/Hadoop/data/datanode处于不一致状态:存储目录不存在或不可访问

请帮我解决问题。

0 投票
0 回答
31 浏览

apache-spark - 尽管机器处于退役状态,但 Spark 执行器仍在节点管理器机器上运行

我们有一个 50 个节点的 Spark 集群,YARN 作为资源管理器。

集群基于 HDP 版本 - 2.6.4 和 , 集群基于 ambari 平台

在纱线节点管理器上yarn-machine34,我们将机器设置为退役状态,也设置为数据节点

decommission 状态执行成功,我们还可以看到,machines 已登录文件:

但尽管如此,我们仍然看到 Spark Executors 正在运行yarn-machine34

在此处输入图像描述

那么它是怎么回事?

据我了解退役状态应避免任何火花运行应用程序/执行

那么我们还能做些什么呢?

0 投票
0 回答
21 浏览

java - Datanode添加块池工作并未结束

我有 2 个 NameNode,13 个 DataNode。现在 5 个 DataNode 已死,NameNode 安全模式已开启。

当我在我的 NameNode 上启动 start-dfs.sh 时,它不会启动 5 个死的 DataNode。

数据节点日志:

添加块池工作并没有结束。为什么没有结束,我怎样才能恢复死的 DataNodes?