问题标签 [namenode]

据我所知，Hadoop 1.x 有辅助 namenode，但用于创建主 namenode 的映像，并在主 namenode 失败并再次启动时更新主 namenode。但是考虑到我们已经有一个热备用，Hadoop 2.x 中的辅助名称节点有什么用呢？

我在 Ubuntu 16.04 上以单模式安装了 Hadoop 2.7.2。但是在启动 Hadoop 之后，NameNode 和 DataNode 服务都不会运行。

地位：

我试图在 hadoop 中建立一个单节点集群，但是在给出命令start-all.sh之后，jps 不显示 namenode 并且当我停止所有进程时，我得到的结果是没有 namenode 停止。另外，我在几个地方看到清除 tmp 文件夹数据可以解决问题，但我无法在我的 hadoop 文件夹中找到它。以下是jps命令的结果：

我已经用 HA 和所有运行良好的服务建立了 hadoop 集群，现在我尝试启用 kerberos，一切顺利，但重新启动服务没有完成，我中止了。我看到 kerberos 处于启用状态。现在，当我一项一项地启动服务时，我发现了这些发现和错误。

1. 两个 NameNode 都进入了待机模式，我没有看到任何活动节点，因此我无法启动一些服务，如 YARN
2. HDFS 已启动但 0/3 DN 还活着 0 死亡和 0 退役

3. DN日志如下

   2016-07-08 10:59:05,831 WARN ipc.Client (Client.java:run(676)) - 无法设置 dn/dvtcbdqd102.corp.cox.com@HDP_QA.COX.COM 到 dvtcbdqd02.corp 的连接.cox.com/10.220.3.5:8020 org.apache.hadoop.ipc.RemoteException(javax.security.sasl.SaslException)：GSS 启动失败

4. 神经网络日志

   2016-07-08 11:01:48,140 WARN ipc.Server (Server.java:saslProcess(1371)) - 10.220.3.8:34998:null 的身份验证失败（GSS 启动失败）2016-07-08 11:01:48,140 INFO ipc.Server (Server.java:doRead(850)) - 用于端口 8020 的 Socket Reader #1：来自客户端 10.220.3.8 的 readAndProcess 抛出异常 [javax.security.sasl.SaslException：GSS 启动失败 [由 GSSException 引起：未指定失败在 GSS-API 级别（机制级别：不支持/启用具有 HMAC SHA1-96 的加密类型 AES256 CTS 模式）]]

5. 我还尝试重新生成密钥表并重新启动服务仍然是相同的错误

我已经安装了 HDP2.3.4

请帮助我。

问候，苏德希尔。

我是hadoop的新手，我只是想看看事情是如何运作的。我正在关注 WordCount 本教程。但是在第 9 步中，当我执行

我正在接受这个消息：

我从这里尝试了一切，我接受了信息：

但没有任何改变仍然无法创建目录。还有什么我可以尝试的吗？在 Ubuntu 16.04LTS 上使用 Hadoop 2.6.0。

假设我有一个 50mb 的文件，而我的默认 HDFS 块大小是 64mb。所以在存储了这个 50mb 的文件之后，我们剩下 14mb 的块大小，可以用来存储一些其他的文件。现在，namenode 会跟踪 HDFS 中存在的文件的块信息。所以在这种情况下，将有 2 条记录指向同一个块，一条用于 50mb 文件，一条用于 14mb 文件。

我的问题是名称节点如何跟踪这两条记录并提供有关文件的元数据信息，因为这两个文件将指向同一个块。

当一天内没有临时作业运行时，hadoop 集群中的 fsimage 大小增加了 1G。需要帮助如何检查导致尺寸增加的原因

我正在尝试在不同大小上构建集群，这就是为什么我想要可以从中计算 RAM、CPU 和 namenode、yarn 和资源管理器的磁盘内存的公式。还想知道 RAM、CPU 和磁盘是如何相互关联的。

我已经配置并运行Hadoop v2.7.2和OpenJDK v7 u191。配置完成后，所有进程，即名称节点、数据节点、辅助名称节点等都可以完美运行（使用jps检查）。

我在 Oracle VirtualBox 中运行Ubuntu 14.0.4 LTS （目前 VirtualBox 正在 Windows10 中运行）。

一旦系统停止（或关闭）一段时间，然后重新启动 Hadoop 后，名称节点将无法启动。除了名称节点之外的所有其他进程都可以正常工作，但名称节点却不行。

我已经尝试从头开始重新安装和重新配置整个东西，但问题就像它一样。另外，我想补充一点，当 Hadoop 与其他软件一起安装时没有错误。我也尝试过重新格式化 HDFS，但这也不起作用。

我是大数据和 Hadoop 的新手，所以如果有人能告诉我到底出了什么问题以及如何逐步解决它，那将非常有帮助。

还有一件事，之前有人建议我配置 SSH 服务器以正确运行 hadoop，所以我已经配置了 SSH 服务器。

这就是发生的事情，当我有时重新启动我的 Ubuntu 图片：Ubuntu

最近遇到了 Cloudera Hadoop 和 HDFS 的有趣场景，我们无法启动 NameNode 服务。

尝试重启 HDFS 服务时，我们无法成功重启集群中的 NameNode 服务。在查看日志后，我们没有观察到任何错误，但确实看到了一些与JvmPauseMonitor...相关的条目

org.apache.hadoop.util.JvmPauseMonitor：在 JVM 或主机（例如 GC）中检测到暂停：暂停大约 5015 毫秒

我们在 中观察这些条目，/var/log/hadoop-hdfs/NAMENODE.log.out并没有看到任何其他错误，包括/var/log/messages.