问题标签 [datanode]

我在谷歌搜索找到有关如何调整值的信息 - DataNode 最大 Java 堆大小，除了这个 -

https://community.hortonworks.com/articles/74076/datanode-high-heap-size-alert.html

https://docs.oracle.com/cd/E19900-01/819-4742/abeik/index.html

但未找到计算DataNode 最大 Java 堆大小值的公式

DataNode 最大 Java 堆大小的默认值为1G

我们将此值增加到 5G ，因为在某些情况下，我们从 datanode 日志中看到有关堆大小的错误

但这不是调整价值的正确方法

那么任何建议或好文章如何为 -datanode 记录有关堆大小的错误设置正确的值？

假设我们有以下 hadoop 集群大小：

1. 10台datanode机器，5个磁盘，每个磁盘1T

2. 每个数据节点有 32 个 CPU

3. 每个数据节点有256G内存

基于此信息，我们能否找到显示正确值的公式 - “ datanode logs error about heap size ”？

关于 hortonworks： 他们建议将 Datanode Java 堆设置为 4G，但我不确定这种情况是否可以涵盖所有场景？

根本原因：DN 操作的 IO 开销很大，不需要 16GB 的堆。

https://community.hortonworks.com/articles/74076/datanode-high-heap-size-alert.html

我最近以单集群模式将 hadoop 3.1.1 安装到我的计算机上。在完成 hdfs-site.xml、yarn-site.xml、core-site.xml、mapred-site.xml 和 hadoop-env 的所有配置之后。 sh 以下命令可以正常工作

*start-all.sh

*stop-all.sh

*开始-dfs.sh

*start-yarn.sh

*hadoop 名称节点

*hadoop 名称节点格式

但是我尝试执行 hadoop datanode 它给出了以下错误。

我遵循了很多以前的stackover问题和答案来解决这个问题。但仍然无法解决

这是 core-site.xml 的代码

这是 mapred-site.xml 的代码

这是 yarn-site.xml 的代码

我在 Ubuntu 上使用 VMware 在3 个虚拟机上安装了 hadoop 3.1.1 。当我运行hdfs namenode -format和 start-all.sh 然后jps在我的主节点和两个从节点上正常工作。

但是，使用命令hdfs dfsadmin -report，我只能看到一个实时数据节点（当我检查 master:50070 或 8088 时得到相同的结果）。

我尝试按如下方式禁用防火墙：ufw disable但它没有解决问题。3 台机器可以通过ping和ssh相互连接（无需密码）。我还删除了带有 datanode 和 namenode 文件夹的 hadoop tmp 文件夹，但效果不佳。日志文件中也没有显示任何问题。

您是否有任何解决方案来获得三个实时数据节点而不是一个？谢谢。

这些是我的配置文件：

纱线站点.xml

hdfs-site.xml

核心站点.xml

工作人员

我们重新启动集群上的 dastanodes

我们在 ambari 集群中有 15 台数据节点机器，而每台数据节点机器有 128G RAM

版本 - （ HDP - 2.6.4 和 ambari 版本 2.6.1 ）

但datanode未能启动以下错误

这很奇怪，因为 dtnode_heapsize 是 8G（DataNode 最大 Java 堆大小 = 8G），从日志中我们也可以看到

所以我们不明白它是怎么回事

剂量 - 与DataNode 最大 Java 堆大小相关的初始堆 大小 ？

来自datanode机器的日志

另一个日志示例：

我正在尝试在我的 Windows 10 中安装 hadoop

参考：https ://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10

Hadoop start-all.cmd 命令成功启动 namenode 、 resourceManager 和 nodeManager 但 datanode 未启动

错误 ：：

我们有以下 hadoop 集群版本，（DATA-NODE 机器在 Linux OS 版本 - 7.2 上）

ambari - 2.6.1 HDP - 2.6.4

我们看到很少有数据节点机器上的磁盘满 100% 的场景

那是因为作为标准输出的文件很大

例如

从 df -h ，我们可以看到

任何建议如何避免标准输出很大的情况，实际上这个问题会导致停止数据节点上的 HDFS 组件，

第二：因为stdout的PATH是：

是否可以限制文件大小？或者当文件达到阈值时清除标准输出？

我已经在 docker 中部署了 Hadoop，它在 aws ec2 ubuntu AMI 实例上运行。

当我尝试在 hdfs 中创建目录时，它显示无法创建目录。名称节点处于安全模式

以下是 hdfs-site.xml 中的属性

当我检查 hdfs 报告时，它会给出以下输出。

下面是关于namenode的一些细节。

如果我设置离开安全模式，它会在几秒钟内回到安全模式。

以下是我的文件系统信息

我期望的是在 hdfs 中创建一个目录来执行 MapReduce 操作

在设置伪集群或全集群时，我们是否需要格式化数据节点来安装 HDFS 文件系统，或者我们只需要格式化 namenode。

我问这个是因为，我在很多博客上都读到过，HDFS 将数据按顺序存储在硬盘上，它是一个抽象层，将数据存储在大块上，而不是提供主机文件系统的默认块大小存储。

如果我们不格式化数据节点，那么 HDFS 的强大功能就会被折腾。

在 Hadoop 中，Hadoop 集群中的所有从属设备是否必须具有相同的配置？

我已按照教程为 Windows 设置 Apache Hadoop，可在此处找到。我现在遇到了 Datanode、资源管理器和 Yarn cmd 窗口的问题，显示打开后所有 3 秒都关闭，只有 Namenode 继续运行。这是我到目前为止尝试过的过程：

1. 以管理员身份运行 CMD
2. 使用命令start-all.cmd（这将打开 Namenode、Datanode、Yarn 和 Resourcemanager cmd 窗口）
3. Datanode、Yarn 和资源管理器在启动后几乎立即给出关闭消息

SHUTDOWN_MSG: Shutting down ResourceManager at thood-alienware/...

SHUTDOWN_MSG: Shutting down NodeManager at thood-alienware/...

SHUTDOWN_MSG: Shutting down DataNode at thood-alienware/...

4. 有趣的是，只有 Datanode 窗口给出了一个错误作为关闭的原因：

2019-03-26 00:07:03,382 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0

我知道我可以编辑允许的故障数量，但我想实际修复导致此磁盘故障的任何原因。当我打开 datanode 目录时，它是一个空文件夹，但是我的 namenode 目录中存在从“start-all.cmd”创建的文件。以前有人在 Windows 上使用过 Hadoop 吗？我完全不知道从这里去哪里，因为大多数在线帮助都是针对 Linux 系统的。