distributed-computing - mesos 可以处理中央资源吗？

Question

我在分布式测试系统中使用 mesos。虽然我可以很容易地指定从站/主机资源（基于每个从站），但有没有办法可以在 mesos 中指定中心资源（saucelab 连接）？我试图确保在任何给定时间，我使用的中央资源都不会超过 X 量。

Answer 1

简短的回答：还没有。

我们之前讨论过集群范围资源的概念，用于 NAS/SAN I/O、软件许可证，甚至是 IP 池，但我们还没有 JIRA。像任何资源一样，有几个方面需要考虑：

1. 注册资源。我可以想象除了 Mesos-slave 之外的一些 ResourceProvider，它向 master 注册并提供可以从一些/所有 slave 访问的资源，并且可以被一些/任何任务使用。
2. 分配：一旦资源可供 Mesos 使用，应该很容易修改分配器以分配、提供和跟踪这些集群范围资源的使用情况。
3. 资源隔离：一旦任务启动，我们需要每个从站能够强制执行分配给任务的资源限制，或者强制执行任务没有分配任何该资源。这可以通过自定义隔离模块来完成，可能由资源提供者打包（和分发？）。

Answer 2

正如 Adam 所提到的，在 Mesos 中没有这样的方法可以直接实现这个要求。但是，您可以通过在 ZooKeeper 之上编写自己的模块来实现这一点。

1. 将您的中央资源元数据保存在 zookeeper 上。

2. 您的框架调度程序可以访问此元数据以了解可用的中央资源，并可以根据资源的可用性做出决定。

3. 您的框架执行器还可以阅读此信息以了解现有中央资源的数量。