问题标签 [hadoop-2.7.2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
73 浏览

hadoop - 通过带有数据节点故障转移的 webhdfs 的 webrequest

我有 hadoop 集群和 hadoop 版本 apache 2.7.1

高可用,由五个节点组成

mn1 ,mn2 ,dn1,dn2,dn3

如果我们从浏览器访问 wbhdfs 以打开名为 myfile 的文件,该文件具有复制因子 = 3 并在 dn1、dn2 和 dn3 上退出

我们从浏览器发出以下命令

所以 mn1 将此请求重定向到 dn1 或 dn2 或 dn3 并且我们得到文件

我们也可以通过以下命令从 hadoop 获取文件

但在数据节点故障的情况下(假设 dn1 和 dn3 现在已关闭)

如果我们发出命令

我们可以检索文件

但是如果我们从浏览器发出 webhdfs 命令,这就是我的状态

mn1 会将请求重定向到已死的 dn1 或 dn3,有时它将请求重定向到 dn2,我可以检索文件

mn1 不应该只将 webhdfs 请求重定向到活动数据节点应该如何处理这个错误应该从应用程序处理?

0 投票
1 回答
1067 浏览

hadoop - 无法访问 Namenode Web URL

我尝试namenode使用namenode IP. 它抛出了一个错误HTTP ERROR 404 Problem accessing /dfshealth.jsp. Reason: NOT_FOUND

我可以使用Namenode主机名访问 Web url。

/etc/hosts文件:

我试过192.168.10.104:50070
它抛出了一个错误page not found

我试过impc2361:50070
它工作正常

为什么我无法使用计算机的 Ip 访问页面?

0 投票
1 回答
14053 浏览

hadoop - curl:(5)无法解析代理:DELETE;未知错误

我在 centos 7 上使用 hadoop apache 2.7.1,我想使用 webhdfs 命令删除文件(file1)。

但我收到此错误:

我编辑了 bashrc 文件如下:

并获取文件以保存更改

但同样的错误。

所以我尝试在 culr 命令中设置没有代理

出现此错误:

我应该编辑什么来排除这个代理?

谢谢。

0 投票
0 回答
1486 浏览

hadoop - 资源管理器 Web UI 不工作

我已经粘贴了下面的配置

纱线站点.xml

netstat -tupln 的输出

资源管理器的日志文件

0 投票
1 回答
29 浏览

hadoop-yarn - nodelabel 作业中的资源使用情况

我正在使用 Hadoop 2.7.2。有什么方法可以测量在 nodelabel 中运行的作业中的资源使用情况?我正在寻找一种方法来通过 jmx 解决这个问题。

我想看看 nodelabel 中有多少使用量并相应地缩放/除垢。

0 投票
3 回答
79 浏览

cloudera - NameNode 和 HDFS 的 HighAvailability (HA) 之间有什么区别吗?

我对 HDFS 和名称节点的高可用性感到困惑,这两件事是相同的还是不同的?