问题标签 [namenode]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
ubuntu - hadoop-1.2.1 namenode 未格式化
我在 Ubuntu 16 中安装了 hadoop 1.2.1 并配置如下：
核心站点.xml
hdfs-site.xml
mapred-site.xml
当我第一次开始时，一切正常。但是当我重新启动系统时，当我尝试启动守护进程时，namenode 没有启动。
试过了
命令并尝试
snadikop 是用户。仍然无法解决这个问题。请帮我解决这个问题？
谢谢你。
下面是我的日志文件
这就是终端中发生的事情
以下是“名称”和“数据”文件夹的屏幕截图位置。 'name' 文件夹路径 我对此表示怀疑，无论两者是否必须在同一个文件夹中。
hadoop - 重启后 HDFS 块损坏
我在 ubuntu 16.10 上有 Hadoop
一切正常：我能够在 HDFS 中上传输入文件并执行 map-reduce 操作。但是当我重新启动我的电脑时，所有 HDFS 块都损坏了，NameNode 以安全模式启动
所以我必须要
1) 离开安全模式
2）删除所有损坏的块
3)重新上传输入文件
然后它工作正常，直到下次重新启动。
有人可以帮我解决这个问题。谢谢
hadoop - 查询 hadoop namenode -format 命令
在执行“hadoop namenode -format”时，出现以下消息。
在这里应该给什么？“Y”或“N”。
如果给定 Y，它会丢失来自 HDFS 的数据吗？
hadoop - 主节点如何启动hadoop集群中的所有进程？
我已经使用普通的 Hadoop 建立了 5 个虚拟机的 Hadoop 集群。集群详情如下：
192.168.1.100 - 配置为运行 NameNode 和 SNN 守护程序
192.168.1.101 - 配置为运行 ResourceManager 守护程序。
192.168.1.102 - 配置为运行 DataNode 和 NodeManager 守护程序。
192.168.1.103 - 配置为运行 DataNode 和 NodeManager 守护程序。
192.168.1.104 - 配置为运行 DataNode 和 NodeManager 守护程序。
我在每个虚拟服务器中都保留了主从文件。
大师：
192.168.1.100
192.168.1.101
奴隶档案：
192.168.1.102
192.168.1.103
192.168.1.104
现在当我start-all.sh从机器运行命令时NameNode，它是如何启动所有守护进程的？我无法理解？没有安装适配器（或者我不知道），所有机器中都存在简单的 hadoop jar，因此机器如何NameNode启动所有机器（虚拟服务器）中的所有守护程序。
谁能帮我理解这一点？
hadoop - 如何在 Hadoop 中的 Datanodes/Slavodes 之间分配数据？
我在 Hadoop 中有一个由两台机器组成的多节点集群。第一台机器（配置的主机和从机）运行名称节点和数据节点，第二台机器（配置的从机）运行数据节点。
我想几乎平等地上传和分配它们之间的数据？
我有两种情况：
首先：假设我有一个大小为 500MB 的文件 file1，我使用以下命令上传到第一台机器：
它会被分成两个数据节点还是只存储在第一台机器上？
何时分配：是在超过第一台机器的块大小之后才分配还是有其他标准。
每个datanode会平均分配250mb吗？
第二：假设我有 250 个文件，每个文件大小为 2mb，并且我使用以下命令将包含它们的文件夹 dir1 上传到第一台机器：
同样的问题：数据是分布在两台机器上还是只分布在第一台机器上。还有何时以及如何分配？
谢谢你。
performance - 火花不同的输入/输出目录大小（对于相同的数据）
为了减少NameNode分配的块数。我正在尝试将一些小文件连接到 128MB 文件。这些小文件是 gz 格式，128MB 的文件也必须是 gz 格式。
为了做到这一点，我得到了所有小文件的总大小，并将这个总大小（以 MB 为单位）除以 128 以获得我需要的文件数。
然后我执行一个rdd.repartition(nbFiles).saveAsTextFile(PATH,classOf[GzipCodec])
问题是我的输出目录大小高于我的输入目录大小（高 10%）。我使用默认和最佳压缩级别进行了测试，并且总是获得更高的输出大小。
我不知道为什么我的输出目录比我的输入目录高，但我想这与我正在重新分区输入目录的所有文件的事实有关。
有人可以帮我理解为什么我会得到这个结果吗？
谢谢 ：）
hadoop - 如何平衡Hadoop中Datanodes之间的数据？
我在 Hadoop 中有一个由两台机器组成的多节点集群（每台机器中有一个名称节点和两个数据节点）。
我在用：
在上面的命令中：数据是分布在两台机器上还是只分布在一台机器上？
平衡的方法是什么：是使用hadoop平衡器工具还是可以自动实现？
apache - 重启电脑后Namenode无法启动（hadoop 2.7.3）
我已经在 ubuntu 16.04 上配置了 hadoop 2.7.3 并运行所有（字数统计和其他 mapReduce 运行所有）。重启电脑后，我启动了 start-dfs，但 namenode 没有启动。其他指南说删除临时目录，但我没有。
那是我的文件：
核心站点.xml
hdfs-site.xml
hadoop - 如何正确检查 hdfs 上的磁盘使用情况？
我正在纱线上运行作业，我看到了
所以，我去检查磁盘空间，我发现有足够的空间：
所以有空间。可能是什么问题？
hadoop - Namenode重启后如何重建完整的区块信息？
我正在尝试理解 Namenode，我参考了在线资料并参考了 Hadoop：权威指南一书。
我知道 Namenode 有这样的概念：“编辑日志”、“fsimage”，我可以在我的 Namenode 中看到以下文件。
==================================================== =======================
在那本书中提到fsimage不存储块位置。
我有以下问题：
1）是否edit logs也存储块位置？（对于新交易？）
2）Namenode和Datanode重启时，Namenode如何获取区块地址？我的疑问是 NN 读取fsimage以重建文件系统信息，但fsimage没有块位置的信息，那么如何重建这些信息？
fsimage3) 只存储BLOCK ID是真的吗？如果是，BLOCK ID 在 Datanodes 中是唯一的吗？BLOCK ID与BLOCK 地址的 ID相同吗？