问题标签 [namenode]

我有一个使用 VMware 工作站的独立 hadoop 设置。我可以使用以下命令启动 hadoop ./start-dfs.sh ./start-yarn.sh

这是 hdfs-site.xml

现在，我已经获得了一个我想要指向的单独的 dfs 目录。请注意，此 dfs 目录包含名称节点、数据节点和辅助数据节点等目录。我使用这篇文章作为参考（https://community.hortonworks.com/articles/2308/how-to-move-or-change-the-hdfs-datanode-directorie.html）

但是在将 hdfs-site.xml 配置为新节点（在路径 mynewdatanode 中）之后，如下所示

我使用上述配置启动了 hadoop，但我看到连接被拒绝错误

请问有什么指点吗？非常感激。

我是Hadoop的初学者。

我要解决的两个大问题是：-

1.）通过 cmd ( start-all.cmd) 启动 hadoop 时，我的 namenode 没有启动。它显示以下错误。

SHUTDOWN_MSG : 在 Admin/192.168.1.6 关闭 NameNode

我尝试按照以下步骤修复它：-

a）首先获取我的计算机的主机名。可以通过运行$hostname命令获取。我的主机名是管理员。然后将192.168.1.6localhost 主机名添加到/etc/hosts文件中。

但我没有在 etc 文件夹中获取名为 hosts 的文件。我对是否必须.txt在 etc 文件夹中创建文件 () 还是需要做其他事情感到困惑？

2.) 另外，根据我的分析，我检查了在触发命令 ( start-all.cmd) 时，三个文件夹正在自动创建，即 hortonworks、USER 和 tmp。我想知道原因。请帮忙。

我想知道如何设置数量

名称节点

数据节点

映射器

减速机

在Hadoop的代码/配置中。

我正在尝试使用 Hadoop Java 客户端，并且正在使用Consul路由到集群中的当前活动名称节点。我的集群是 cloudera 并使用 HA。当hadoop Consul更改活动名称节点时，也会立即将分辨率更改为新的活动名称节点。我想从 hadoop 集群外部连接到 HDFS。

我正在循环尝试非常简单的代码，没有任何特定的配置。

当我开始运行时，我在日志中看到名称节点已正确解析，但是当我进行手动故障转移时，我收到以下错误：

看起来 Hadoop 客户端仍在尝试连接到以前存储的 IP，而不是已经更改为新活动名称节点的 ip。

我看到很多类似的问题，关于 HA 名称节点的一个 URI 问题，但没有任何解决方案。现在我有了解决方案，但需要知道如何清理 hadoop 客户端的 IP 缓存。

有人知道如何禁用 HDFS 客户端的内部缓存 IP 解析，以便每次调用都会查找活动名称节点的 IP？

我正在使用 Hadoop 1.2.1 独立模式.. 当我使用 jps 命令时，输出是：

2528 TaskTracker
3044 Jps
2380 JobTracker
2140 DataNode
2286 SecondaryNameNode

没有运行 NameNode 我不知道为什么？..

当我尝试打开http://localhost:50030 ...它不会打开

http://localhost:50070 open .. but can't open :
Browse the filesystem
Namenode Logs

当我尝试使用 sudo su 成为 root 时，它给了我这个：

hduser 不在 sudoers 文件中。将报告此事件。

我怎样才能解决这个问题 ？

我知道以前有人问过这个问题，看到以下解决方案：

我修改了我的 hdfs-site.xml 文件，还删除了临时目录的内容。但是，如果没有格式化名称节点，它仍然无法启动。另外，value标签的值中给定的目录路径是否应该已经存在？

任何建议我在上述更新中缺少什么？

我有来自不同 hadoop 安装的 datanode、namenode 和辅助 namenode 文件夹（其中包含所有数据或信息）。

我的问题是，您如何查看其中的内容或将其添加到本地 HDFS 以查看数据或信息。

可以有办法恢复它或其他东西，但我找不到任何关于它的信息。

文件夹树是这样的：

对于 Namenode 和 SecondaryNamenode：

对于Datanode：

提前致谢。

我刚刚开始从Hadoop: The权威指南这本书中学习 hadoop 。

我按照伪分布模式下的 Hadoop 安装教程进行操作。我启用了ssh的无密码登录。在第一次使用之前格式化hdfs文件系统。它第一次成功启动。之后，我使用copyFromLocalHDFS 复制了一个文本文件，一切正常。但是如果我重新启动系统并再次启动守护进程并查看 web UI，只有 YARN 启动成功。

当我发出 stop-dfs.sh 命令时，我得到

如果我再次格式化 hdfs 文件系统，然后尝试启动守护程序，那么它们都会成功启动。

这是我的配置文件。正如hadoop权威指南中所说的那样。

hdfs-site.xml

核心站点.xml

mapred-site.xml

纱线站点.xml

这是namenode日志文件中的错误

这是来自mapred日志

我访问了apache hadoop：connection denied说

• 检查在 /etc/hosts 中是否没有映射到 127.0.0.1 或 127.0.1.1 的主机名条目（Ubuntu 对此臭名昭著）。

我发现我的 /etc/hosts 中有一个条目，但如果我删除它，我的 sudo 会导致错误sudo: unable to resolve host。/etc/hosts如果不删除映射到 127.0.1.1 的主机名，我应该添加什么

我不明白这个问题的根本原因是什么。

我正在Hadoop 2.7.3我的 Ubuntu 16.0.4 系统上安装。尝试执行时出现以下错误start-dfs.sh。我检查了所有配置文件。

提前致谢

我正在使用 hadoop-2.5.1 和 hbase-1.0.1

当我在工作节点上启动数据节点时

它抛出SLF4J:class path contains multiple  SLF4J bindings

并且数据节点没有开始