-1

几天前，Yahoo 发布了关于 Storm-on-YARN 项目http://developer.yahoo.com/blogs/ydn/storm-yarn-released-open-source-143745133.html，这使得在 YARN 上运行 Storm 成为可能。这是一个很大的改进，但是我有两个关于使用 YARN 运行 Storm 等任务的问题。像 Storm 这样的任务对执行时间没有限制……我的意思是，当你运行 Storm 时，你希望它会工作几天或几个月——听队列或其他什么。我的意思是有一组任务在执行时间上没有限制（我想报告 0% 的进度）

1）什么是超时？普通的M/R在挂起时被杀死，如何防止它？我浏览了代码，但没有找到任何特殊代码 2) 同样，MR1 有队列等待执行的作业：当集群完成一项作业时，它从队列中获取下一个作业。纱线呢？如果我将无休止地推送类似 Storm 的作业 A 和作业 B，作业 B 会被执行吗？

抱歉，如果我的问题看起来很荒谬，也许我错过/不明白某些事情

4

1 回答 1

1

Hadoop 的 JobTracker 负责集群资源和应用程序生命周期。YARN 只负责管理集群资源，应用程序生命周期是应用程序的责任。

这一变化意味着 YARN 可用于管理任何分布式范式。MR2 当然是最初的实现（map/reduce over YARN），但你可以看到一些其他的实现，比如你提到的 Storm-on-YARN 或 HortonWorks 打算将 SQL 集成到 hadoop等。

您可以查看一个名为Weave from continuuity的库，它提供了一个简单的 API，用于在 YARN 上构建分布式应用程序

于 2013-06-16T08:15:37.047 回答