问题标签 [hadoop-yarn]

since the jobTracker in MapReduce1 is replaced by the Application Master and Resouce Manager in Yarn I wonder who is communication in Yarn with the namenode to find out where the data is stored in the different datanodes? Is the Application Master doing so?

几天前，Yahoo 发布了关于 Storm-on-YARN 项目http://developer.yahoo.com/blogs/ydn/storm-yarn-released-open-source-143745133.html，这使得在 YARN 上运行 Storm 成为可能。这是一个很大的改进，但是我有两个关于使用 YARN 运行 Storm 等任务的问题。像 Storm 这样的任务对执行时间没有限制……我的意思是，当你运行 Storm 时，你希望它会工作几天或几个月——听队列或其他什么。我的意思是有一组任务在执行时间上没有限制（我想报告 0% 的进度）

1）什么是超时？普通的M/R在挂起时被杀死，如何防止它？我浏览了代码，但没有找到任何特殊代码 2) 同样，MR1 有队列等待执行的作业：当集群完成一项作业时，它从队列中获取下一个作业。纱线呢？如果我将无休止地推送类似 Storm 的作业 A 和作业 B，作业 B 会被执行吗？

抱歉，如果我的问题看起来很荒谬，也许我错过/不明白某些事情

在 YARN 中，以下哪个守护进程负责容器和应用程序的资源利用？

1. 节点管理器
2. 工作追踪器
3. 任务跟踪器
4. 应用大师
5. 资源管理器

我对此感到困惑，容器由节点管理器负责，应用程序的资源利用由资源管理器完成。

所以答案是1、5。

如果我错了，请纠正我。请给出正确的答案选项。

我安装了 hadoop-2.0.5-alpha、hbase-0.95.1-hadoop2 和 zookeeper-3.4.5。Hadoop 和 zookeper 运行良好。HDFS 和 MR2 工作得很好。但是 HBase 不会启动。有没有人见过这个错误？我将在下面发布我的配置和日志。在此先感谢您的帮助。

hbase-site.xml：

hbase-xxxx-master-master.log ：

我正在尝试在 Windows 机器上设置 Spark 集群。
去这里的方法是使用独立模式，对吧？
不使用 Mesos 或 YARN 的具体缺点是什么？使用其中任何一种会有多痛苦？有人在这里有经验吗？

最近构建的 MR2 基本示例失败，即在伪分布式 MR2 HDFS 集群中运行 pi 示例，出现以下错误：

13/07/06 21:20:47 错误 security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, inode=" /tmp/hadoop-yarn/staging":mapred:mapred:drwxrwx---

为什么会发生这种情况？

（默认情况下）Hadoop Yarn 中是否有与“资源管理器”相同的节点中的“节点管理器”？如果没有，是否可以在同一个节点上运行它们？

我有一个带有 java 操作节点的工作流作业。使用 Hadoop 2.1.0.2.0.4.0-38 和 Oozie 3.3.2.2.0.4.0 运行当我提交作业时，我在 Hadoop 资源管理器屏幕中看到 2 行。1. 使用原始作业名称 2. 使用 Oozie 作业名称。

具有 Oozie 作业名称的任务处于“正在运行”状态 具有原始名称的任务处于“已接受”状态。我在日志中看到的只是：

谢谢

我在 VirtualBox 中下载并启动了 HDP 2.0，然后尝试使用 YarnClient 从 Java 连接

但是遇到了以下错误：

任何想法出了什么问题？

我正在使用来自中央仓库的 Hadoop 库版本 2.1.0-SNAPSHOT，这是我的 yarn-site.xml

连接达到其目标。刚刚查看了服务器日志，这似乎是一个授权问题：

但是所有文档都对我应该如何配置所有这些安全性内容保持沉默。任何人都亲身体验过 Hortonworks 产品？

我有几个关于 CDH4 的问题或困惑。我在这里发帖是因为我没有得到任何关于我的问题的具体信息。

CDH4 是为了推广 YARN 吗？我尝试使用 CDH4.3.0 使用 tarball 设置 MapReduce1。我终于做到了，但它是圆的和痛苦的。而 YARN 的设置是海峡前进的。

有人在生产中使用 YARN 吗？Apache 明确表示 YARN 仍处于 alpha 版本，不适合生产。在这种情况下，为什么 Cloudera 以 CDH4 YARN 为中心？Cloudera 在生产中是否支持 YARN？

如果问题不恰当，请致歉。

这就是 tarball 提取物的样子。

我按照几个链接进行配置，但我对必须完成的方式不满意

CDH 4.3.0 压缩包和 MR1