问题标签 [namenode]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
896 浏览

hadoop - 使用 tera gen 时,从 kv.local/172.20.12.168 到 localhost:8020 的调用因连接异常而失败

我正在与 hadoop teragen 一起使用 terasort 检查 hadoop mapreduce 基准测试。但是当我运行以下命令时,

hadoop jar /Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar teragen -Dmapreduce.job.maps=100 1t 随机数据

我得到了以下异常,

如错误所示,它无法连接到 localhost:8020,但是当我检查 namenode Web UI 时,它显示 namenode 处于活动状态。请看下面的截图:

在此处输入图像描述

我发现了很多与此相关的帖子,但没有一个能帮助我。我还检查了 hosts 文件,其中包含以下行:

127.0.0.1 本地主机

172.20.12.168 本地主机

谁能帮我解决这个问题?

0 投票
0 回答
305 浏览

hdfs - NameNode 不断下降

我遇到了 NameNode 状态 ambari 显示的问题。正在发生以下情况: - NameNode 在我通过 ambari 启动它后持续下降几秒钟(看起来它从未真正上升,但启动过程成功运行);

  • 尽管根据 ambari 已关闭,但如果我在托管 NameNode 的服务器中运行 JPS,则表明该服务正在运行:

    /li>

我可以正确访问 NameNode UI;

  • 我已经手动重新启动了namenode和ambari-agent,但行为保持不变;

  • 这个问题是在一些 HBase/Phoenix 繁重的查询导致 namenode 宕机之后开始的(不确定这是否真的相关,但完全相同的配置在这一集之前运行良好);

  • 我已经挖掘了几个小时,我无法在 namenode 日志和 ambari-agent 日志中找到错误详细信息,让我了解问题;

我正在使用 HDP 2.4.0、Ambari 2.2.1.1 并且没有 HA 选项。

有人可以帮忙吗?

提前致谢

编辑:添加 ambari 版本。

0 投票
1 回答
210 浏览

hadoop - NameNode 启动错误: No FileSystem for scheme: ht

我在 HDP 2.6 中。当我尝试启动 NameNode 时,出现以下错误:

当我尝试 hdfs ls 命令时:

有什么建议吗?

0 投票
2 回答
153 浏览

hbase - 没有 Namenode 高可用性的 HBase 高可用性

我已经使用安装了 HBase 的 Ambari 设置了一个两节点集群。我知道没有三个节点我们无法实现Namenode HA。但是我们是否可以通过添加一个备用 HBase Master 来使两个节点的 HBase 高可用。Hbase高可用是否依赖Namenode高可用?

0 投票
1 回答
56 浏览

hadoop - 在重新启动作业跟踪器之前,我们是否需要将 namenode 置于安全模式?

我有一个运行 Cloudera 的 Hadoop 集群CDH3,Apache Hadoop 的0.20.2等价物。我想重新启动作业跟踪器,因为有些作业没有被杀死。我尝试从命令行杀死它们,命令成功执行,但作业仍处于Job Cleanup: Pending状态。restart无论如何,我想job-tracker看看是否清理工作。我知道重新启动作业跟踪器的命令,但我不确定是否需要将name-node in safe-mode before I restart the job-tracker.

0 投票
2 回答
218 浏览

hadoop2 - 谁能说出在 jps 中不显示 hadoop 恶魔的原因?

我正在使用 hadoop 2.7.3 版本,并且在 jps 中没有显示配置后的 namenode。谁能说出我对相关文件授予正确权限的原因是什么。我已删除 /tmp 文件并重新创建,在重新格式化名称节点后,我面临同样的问题。提前致谢。

核心站点.xml:

hdfs-site.xml

mapred-site.xml

纱线站点.xml

名称节点日志文件:

0 投票
1 回答
2151 浏览

hadoop - Namenode 关闭错误 - 以状态 0 退出(Hadoop 安装)

我正在尝试让 Hadoop-2.8.1 正常工作。我正在运行命令来配置 Namenode。但是,当我从 Hadoop 目录运行 Namenode 时,它​​会关闭。

0 投票
1 回答
306 浏览

hadoop - 为什么 Hadoop 名称节点连接到奇怪的 [aca8ca1d.ipt.aol.com] 主机名?

我正在使用 mac 系统并使用以下命令启动 hadoop 系统:

我的主机名是“主机名”命令返回的“ctpllt072.local”。但是在连接启动名称节点时,我收到了一个奇怪的主机名和消息,如下所示:

我的系统中没有指定的 [aca8ca1d.ipt.aol.com],在 /etc/hosts 和任何属性文件中都没有。

这是我的 hdfs、yarn 和 core-site xml 文件:

核心站点.xml

hdfs-site.xml

纱线站点.xml

在网上搜索了原因,但没有运气。请提出可能是什么问题以及如何解决它。

0 投票
1 回答
336 浏览

hadoop - 2 NameNode 失败后移动 NameNode - Hortonworks - Hadoop

问题说明:

在 Ambari 上,我使用了服务操作:“移动 NameNode”。最后一步我在删除旧的 NameNode 时失败了。

现在,我可以在 Ambari 上看到两个 NamdeNode。但是,我没有启用 NamdeNode HA。该错误并不严重,因为一个 NameNode 已启动而另一个 NameNode 已停止。

我正在考虑启用 HA 来纠正它,但由于其中一个 NameNode 已停止,我无法做到。同样的方式,我不能同时启动两个NameNode。

问题: - 如何删除第二个 NameNode?当我没有启用 HA 时?

0 投票
2 回答
803 浏览

hadoop - 无法访问 HDFS 中的 /tmp 文件夹

我已经在本地机器上启动了 name node、datanode 和 mr 服务,并且所有服务都在运行。这是 jps 命令的结果:

我可以很容易地浏览抛出名称节点的 Web UI 的“浏览目录”。但是当我尝试浏览 /tmp 目录时,它显示了以下错误:

我尝试使用以下命令更改权限:

但没有运气。请建议可能是什么问题?我用 sudo 执行了上述命令,但结果仍然相同。有什么帮助吗?