问题标签 [namenode]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 使用 tera gen 时,从 kv.local/172.20.12.168 到 localhost:8020 的调用因连接异常而失败
我正在与 hadoop teragen 一起使用 terasort 检查 hadoop mapreduce 基准测试。但是当我运行以下命令时,
hadoop jar /Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar teragen -Dmapreduce.job.maps=100 1t 随机数据
我得到了以下异常,
如错误所示,它无法连接到 localhost:8020,但是当我检查 namenode Web UI 时,它显示 namenode 处于活动状态。请看下面的截图:
我发现了很多与此相关的帖子,但没有一个能帮助我。我还检查了 hosts 文件,其中包含以下行:
127.0.0.1 本地主机
172.20.12.168 本地主机
谁能帮我解决这个问题?
hdfs - NameNode 不断下降
我遇到了 NameNode 状态 ambari 显示的问题。正在发生以下情况: - NameNode 在我通过 ambari 启动它后持续下降几秒钟(看起来它从未真正上升,但启动过程成功运行);
尽管根据 ambari 已关闭,但如果我在托管 NameNode 的服务器中运行 JPS,则表明该服务正在运行:
/li>
我可以正确访问 NameNode UI;
我已经手动重新启动了namenode和ambari-agent,但行为保持不变;
这个问题是在一些 HBase/Phoenix 繁重的查询导致 namenode 宕机之后开始的(不确定这是否真的相关,但完全相同的配置在这一集之前运行良好);
我已经挖掘了几个小时,我无法在 namenode 日志和 ambari-agent 日志中找到错误详细信息,让我了解问题;
我正在使用 HDP 2.4.0、Ambari 2.2.1.1 并且没有 HA 选项。
有人可以帮忙吗?
提前致谢
编辑:添加 ambari 版本。
hadoop - NameNode 启动错误: No FileSystem for scheme: ht
我在 HDP 2.6 中。当我尝试启动 NameNode 时,出现以下错误:
当我尝试 hdfs ls 命令时:
有什么建议吗?
hbase - 没有 Namenode 高可用性的 HBase 高可用性
我已经使用安装了 HBase 的 Ambari 设置了一个两节点集群。我知道没有三个节点我们无法实现Namenode HA。但是我们是否可以通过添加一个备用 HBase Master 来使两个节点的 HBase 高可用。Hbase高可用是否依赖Namenode高可用?
hadoop - 在重新启动作业跟踪器之前,我们是否需要将 namenode 置于安全模式?
我有一个运行 Cloudera 的 Hadoop 集群CDH3
,Apache Hadoop 的0.20.2
等价物。我想重新启动作业跟踪器,因为有些作业没有被杀死。我尝试从命令行杀死它们,命令成功执行,但作业仍处于Job Cleanup: Pending
状态。restart
无论如何,我想job-tracker
看看是否清理工作。我知道重新启动作业跟踪器的命令,但我不确定是否需要将name-node in safe-mode before I restart the job-tracker
.
hadoop2 - 谁能说出在 jps 中不显示 hadoop 恶魔的原因?
我正在使用 hadoop 2.7.3 版本,并且在 jps 中没有显示配置后的 namenode。谁能说出我对相关文件授予正确权限的原因是什么。我已删除 /tmp 文件并重新创建,在重新格式化名称节点后,我面临同样的问题。提前致谢。
核心站点.xml:
hdfs-site.xml
mapred-site.xml
纱线站点.xml
名称节点日志文件:
hadoop - Namenode 关闭错误 - 以状态 0 退出(Hadoop 安装)
我正在尝试让 Hadoop-2.8.1 正常工作。我正在运行命令来配置 Namenode。但是,当我从 Hadoop 目录运行 Namenode 时,它会关闭。
hadoop - 为什么 Hadoop 名称节点连接到奇怪的 [aca8ca1d.ipt.aol.com] 主机名?
我正在使用 mac 系统并使用以下命令启动 hadoop 系统:
我的主机名是“主机名”命令返回的“ctpllt072.local”。但是在连接启动名称节点时,我收到了一个奇怪的主机名和消息,如下所示:
我的系统中没有指定的 [aca8ca1d.ipt.aol.com],在 /etc/hosts 和任何属性文件中都没有。
这是我的 hdfs、yarn 和 core-site xml 文件:
核心站点.xml
hdfs-site.xml
纱线站点.xml
在网上搜索了原因,但没有运气。请提出可能是什么问题以及如何解决它。
hadoop - 2 NameNode 失败后移动 NameNode - Hortonworks - Hadoop
问题说明:
在 Ambari 上,我使用了服务操作:“移动 NameNode”。最后一步我在删除旧的 NameNode 时失败了。
现在,我可以在 Ambari 上看到两个 NamdeNode。但是,我没有启用 NamdeNode HA。该错误并不严重,因为一个 NameNode 已启动而另一个 NameNode 已停止。
我正在考虑启用 HA 来纠正它,但由于其中一个 NameNode 已停止,我无法做到。同样的方式,我不能同时启动两个NameNode。
问题: - 如何删除第二个 NameNode?当我没有启用 HA 时?
hadoop - 无法访问 HDFS 中的 /tmp 文件夹
我已经在本地机器上启动了 name node、datanode 和 mr 服务,并且所有服务都在运行。这是 jps 命令的结果:
我可以很容易地浏览抛出名称节点的 Web UI 的“浏览目录”。但是当我尝试浏览 /tmp 目录时,它显示了以下错误:
我尝试使用以下命令更改权限:
但没有运气。请建议可能是什么问题?我用 sudo 执行了上述命令,但结果仍然相同。有什么帮助吗?