问题标签 [namenode]

I have been trying to install Hadoop on Windows 7 for quite sometime now. I am following this blog for instructions. But unfortunately I have not been be able to run the Namenode. There seems to be issue with hdfs-site.xml file but I dont see anything wrong in it. Please have a look at it

hdfs-site.xml

and the error log that I am getting on running hdfs namenode -format command in command prompt:

and can anybody please guide what I am doing wrong here?

UPDATE Thanks to @Binary Nerd for setting things correctly. But now I am facing another problem, even though the System Architecture is 32-bits the NameNode is not started and following error appears (excerpt):

我想将一台计算机用作两个不同 hadoop 集群中的数据节点。我尝试更改端口，但没有奏效。请告诉我是否需要更改任何端口。

我在 HA 环境中有两个名称节点。并且 Hive 配置为指向 HA 命名空间。但是中间我的 Hive 未能指向被动名称节点给出以下错误，即使我的主动名称节点仍在服务中。请帮助我挖掘问题所在。即使是 Zkfc 日志也不会显示 Hive 失败时发生的任何故障转移。

无法设置 IO 流；主机详细信息：本地主机是：“我的节点/10.10.11.6”；目的主机是：“被动节点”：8020；

我们最近决定在多个集群（具体版本不同）上启用 Hadoop NameNode 的 GC 日志记录，以帮助查看与 NameNode 相关的内存和垃圾收集问题。我们希望集群中的所有 NameNode（活动和备用或主要和辅助）都使用此功能。我们还想避免我们知道可能会发生的两个问题：

• 当 NameNode 因任何原因重新启动时覆盖日志文件
• 日志使用太多磁盘空间，导致磁盘被填满

当一个进程的 Java GC 日志记录开始时，它似乎会替换任何同名文件的内容。这意味着除非您小心，否则您将丢失 GC 日志记录，也许在您更可能需要它的时候。

如果您让集群运行足够长的时间，日志文件将填满磁盘，除非进行管理。即使 GC 日志目前不是很庞大，我们也希望管理出现异常情况的风险，这种情况会导致日志记录率飙升。

作为 Hadoop 的初学者，我对 NameNode 和 Namespace 感到困惑。据我了解，它们都具有相同的功能，它们都包含元数据。

它们之间有什么区别吗？

通过执行命令“ bin/hadoop namenode -format ”格式化namenode时，我收到此错误：

hduser@ubuntu:~/hadoop/bin$ ./hadoop namenode -format 已弃用：不推荐使用此脚本执行 hdfs 命令。而是使用 hdfs 命令。

错误：无法找到或加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

我成功启动了 Cloudera 管理器，但是在尝试查看文件列表时，它会抛出与 namenode 相关的错误。之后我检查了namenode是否启动，但它说

无法连接 Firefox 无法在 quickstart.cloudera:50070 建立与服务器的连接。该站点可能暂时不可用或太忙。请稍后再试。如果您无法加载任何页面，请检查您计算机的网络连接。如果您的计算机或网络受到防火墙或代理的保护，请确保允许 Firefox 访问 Web。

我该如何解决这个问题？

我正在使用 3 节点 hdfs 集群，从过去几个月开始它运行良好，但从几天开始，我在其中一个 namenode 中的日志中经常出现异常，它是 Active 节点，但由于此错误 hdfs 故障转移本身到辅助 namenode ，虽然一切都很好，但我想解决这个问题，请建议：-

我正在尝试设置一个 hadoop 集群。但是名称节点没有启动。当我检查日志时，它显示：

2016-10-19 05:23:10,140 致命的 org.apache.hadoop.hdfs.server.namenode。

NameNode：启动namenode失败。java.lang.IllegalArgumentException：在 org.apache.hadoop.hdfs.server.namenode.NameNode 的 java.net.URI.create(URI.java:859) 的索引 0 处的方案名称中存在非法字符：192.168.100.101:9001。 setClientNamenodeAddress(NameNode.java:352) 在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:755) 在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:第748章）在org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode（NameNode.java:1441）在

原因：java.net.URISyntaxException：索引 0 处的方案名称中的非法字符：java.net.URI$Parser.fail(URI.java:2829) 处的 java.net.URI$Parser.checkChars 处的 192.168.100.101:9001 (URI.java:3002) 在 java.net.URI$Parser.checkChar(URI.java:3012) 在 java.net.URI$Parser.parse(URI.java:3028) 在 java.net.URI.(URI .java:595) 在 java.net.URI.create(URI.java:857) ... 5 更多 2016-10-19 05:23:10,144 信息 org.apache.hadoop.util.ExitUtil：以状态 1 退出2016-10-19 05:23:10,150 信息 org.apache.hadoop.hdfs.server.namenode.NameNode：

SHUTDOWN_MSG：

/************************************************* ***********

SHUTDOWN_MSG：在namenode1/192.168.100.101关闭NameNode

我检查了 core-site.xml 文件，没有发现任何错误。

我也尝试过删除临时文件夹，格式化名称节点并重新启动它。

我正在研究使用 Apache Ambari 安装的 IBM Hadoop 发行版 (BigInsights)，目前已启用 GPFS（通用并行文件系统）作为 HDFS 的透明层。在 Ambari 上，我们在 HDFS 上启用了维护模式，并且无法通过 Ambari 控制台对 core/hdfs-site.xml 进行任何更改。因此，如果我想对 core/hdfs-site.xml 进行任何更改，我必须使用 CLI 从服务器端进行更改，那么我必须如何在 GPFS 环境中重新启动我的 namenode/datanode？我是否需要重新启动连接器以启用新参数或重新启动名称节点？如果连接器工作，那么我确实有命令“mmhadoopctl”，但如果没有，我必须使用什么命令来启用放置在配置文件中的新参数。