问题标签 [hadoop-yarn]

Hadoop 架构中的 Namenode 是单点故障。

拥有大型 Hadoop 集群的人如何应对这个问题？

是否有一个行业接受的、运行良好的解决方案，其中一个辅助 Namenode 接管以防主 Namenode 出现故障？

我正在尝试运行分布式 shell 示例（使用 Hadoop 的 SVN 签出，这就是版本设置为 3.0.0-SNAPSHOT 的原因）：

但是它不起作用：

本质问题似乎在第二个跟踪中：

有谁知道 Hadoops ProtoBufRPC 的协议注册是如何工作的？关于如何调试的任何想法？

编辑：使用 Hadoop 版本 2.0.1-alpha，它工作得稍微好一些。

所以也许我的构建工作不正常。关于导致上述问题的任何想法（我真的很想使用 HEAD，因为我计划在 MapReduce 之外进行一些低级实验）？还是 HEAD 部分损坏，HEAD 上的分布式外壳对您有用吗？

我自己的（尚未工作......）客户端仍然失败并出现相同的错误：

我只是在伪分布式模式下设置了 Hadoop/Yarn 2.x（特别是 v0.23.3）。

我遵循了一些博客和网站的说明，它们或多或少地提供了相同的设置方法。我还关注了 O'reilly 的 Hadoop 书籍的第 3 版（具有讽刺意味的是，它的帮助最小）。

问题：

配置：

在 my 和 hadoop 的 UNIX 帐户配置文件中都设置了以下环境变量：~/.profile：

hadoop$ java -版本

NAMENODE & DATANODE 目录，也在 etc/hadoop/conf/hdfs-site.xml 中指定：

接下来是各种 XML 配置文件（这里还是 YARN/MRv2/v0.23.3）：

核心站点.xml

mapred-site.xml

hdfs-site.xml

纱线站点.xml

等/hadoop/conf/保存

其他总结说明：

谢谢！

我想知道是否可以安装“后台”hadoop 集群。我的意思是，毕竟它意味着能够处理节点不可用或有时很慢。

所以假设一些大学有一个计算机实验室。比如说，100 个盒子，全部配备高档桌面硬件、千兆以太网，甚至可能安装相同的软件。Linux 在这里也很受欢迎。

但是，这 100 个盒子当然是为学生准备的桌面系统。有时实验室会满员，但有时实验室会空着。用户数据主要存储在中央存储设备上——比如 NFS——因此本地磁盘的使用并不多。

对我来说，在空闲时间将系统用作 Hadoop 集群听起来是个好主意。最简单的设置当然是让一个 cron 作业在晚上启动集群，然后在早上关闭。但是，白天也有许多计算机未使用。

但是，当任何用户登录时，Hadoop 将如何对节点关闭等做出反应？是否可以轻松地“暂停”（抢占！）hadoop 中的节点，并在需要时将其移动到交换位置？理想情况下，我们会给 Hadoop 一个在暂停任务之前转移计算的机会（也可以释放内存）。如何进行这样的设置？有没有办法向 Hadoop 发出一个节点将被挂起的信号？

据我所知，不应停止数据节点，并且可能需要将复制增加到 3 个以上。使用 YARN 还可能存在一个问题，即通过将任务跟踪器移动到任意节点，它可能会在某个时候被挂起。但也许可以控制有一小组节点始终处于打开状态，并且将运行任务跟踪器。

只发送或发送（然后用 恢复）stop是否合适？第一个可能会让 hadoop 有机会做出反应，第二个会在用户很快注销时继续更快（因为工作可以继续）。纱线怎么样？tasktrackerSIGSTOPSIGCONT

Yarn 的基础设施层与原始 map reduce 架构的不同之处在于：

在 YARN 中，作业跟踪器分为两个不同的守护进程，称为Resource Manager和Node Manager（特定于节点）。资源管理器只管理对不同作业的资源分配，除了包含一个调度器，它只负责调度作业，而不用担心任何监控或状态更新。内存、cpu 时间、网络带宽等不同的资源被放入一个称为Resource Container. 在不同的节点上有不同AppMasters的运行，它们与许多这些资源容器通信，并相应地使用监控/状态详细信息更新节点管理器。

我想知道使用这种方法如何从 map-reduce 的角度提高性能？此外，如果有任何关于 Yarn 背后的动机及其相对于现有 Map-reduce 实现的好处的明确内容，请指出相同的内容。

目前有没有办法通过为 MapReduceV1 和/或 YARN 提供的 REST API 向外部提交应用程序？我希望在不添加自定义服务的情况下找到一种方法。

到目前为止，我只弄清楚了如何使用 YARNGET从ResourceManager获取应用程序状态。

也许我看错了，有更好的方法在外部做到这一点？

我最近建立了一个由两台CentOS 6 机器组成的简单集群，并在其上安装了hadoop-0.23.4文件系统。格式化完成，没有错误消息，我可以启动 DataNodes（在我拥有的 1 个从机上）、ResourceManager（在主控机上）和 NodeManagers（再次在每 (1) 个从属机上）。

我无法弄清楚为什么 NameNode 没有启动。发出命令后：

在主人身上，我得到了这个输出

并且没有错误消息（或者至少没有我发现的错误消息）。日志也不包含错误。

在主 jps 返回

在我得到奴隶的时候

关于我应该在哪里调查的任何线索？谢谢

我使用 Whirr 0.8 在 EC2 上部署了一个 CDH4 集群（MapReduce 版本 2，YARN）。MapReduce 作业运行良好，我可以毫无问题地连接到NameNodeWebResource Manager应用程序。但我无法连接到JobHistoryManagerWeb 应用程序，并且我已确认它正在运行。关于如何解决这个问题的任何想法？

是否可以在同一个集群中同时运行 Hadoop MR1 和 MR2（至少在理论上）？

如果是，我该怎么做？

我用 Yarn 下载了 Hadoop 的 CDH4 tar，作业运行良好，但我不知道在哪里查看我的作业中的日志。在 MRv1 中，我只需访问 JobTracker 网络应用程序，它就有工作历史记录。也可以从这里访问单个作业的日志，或者通过转到 logs/userlogs 目录。

在我的新 Yarn 设置中（仅在单台计算机上运行），我有日志目录，但没有日志/用户日志文件夹。

当我转到 ResourceManager 网页 localhost:8088 时，有一个“所有应用程序”部分，但这里没有显示条目。当我转到 JobHistory 网页 localhost:19888 时，没有列出任何工作。

我想知道是否存在配置问题。这是我的 yarn-site.xml 条目：

非常感谢有关调试内容的任何提示。

更新：我检查了 nodemanager 日志目录，它是空的。此外，jobhistory 目录是空的。一件奇怪的事情是 Hadoop 告诉我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/但是当我从浏览器尝试时，该地址不可用。

更新 #2：我注意到我运行的每个作业都有相同的作业 ID（“job_local_0001”）。这似乎是某个地方的配置问题。