0

我有一个有 10 个节点的 Hadoop 集群。在 10 个节点中，其中 3 个部署了 HBase。有两个应用程序共享集群。应用程序 1 从 hadoop HDF 写入和读取数据。应用程序 2 将数据存储到 HBase。yarn 有没有办法确保应用程序 1 启动的 hadoop M/R 作业不使用 Hbase 节点上的插槽？我只希望应用程序 2 启动的 Hbase M/R 作业使用 HBase 节点。这需要确保有足够的资源可用于应用程序 2，以便 HBase 扫描非常快。

关于如何实现这一目标的任何建议？

4

1 回答 1

0

如果你在 Yarn 上运行 HBase 和你的应用程序，应用程序主机（HBase 本身和 MR 作业）可以请求数据节点上的最大可用资源。

你知道 hortonworks 项目Hoya = HBase on Yarn 吗？

特别是其中一个特点是：

运行 MR 作业，同时保持 HBase 的低延迟 SLA

于 2014-04-05T12:56:10.150 回答