java - Apache Mesos 实际上做了什么？

Question

我正试图围绕Apache Mesos进行思考，并且需要对一些项目进行澄清。

我对Mesos 的理解是，它是一个可执行文件，可以安装在集群中的每个物理/VM 服务器（“节点”）上，然后提供一个 Java API（以某种方式）将每个单独的节点视为一个计算资源的集合池（ CPU/RAM/等）。因此，对于针对 Java API 进行编码的程序，他们只看到一组资源，而不必担心代码的部署方式/位置。

因此，一方面，我在这里的理解可能从根本上是错误的（在这种情况下，请纠正我！）。但是，如果我是目标，那么 Java API（由 Mesos 提供）如何允许 Java 客户端利用这些资源？！？有人可以举一个 Mesos 的具体例子吗？

---

更新

看看下面我可怕的图画。如果我正确理解 Mesos 架构，我们有一个由 3 个物理服务器（phys01和phys02）phys03组成的集群。这些物理设备中的每一个都在运行一个 Ubuntu 主机（或其他任何东西）。通过一个虚拟机管理程序，比如 Xen，我们可以运行 1+ 个虚拟机。

我对 Docker 和 CoreOS 很感兴趣，所以我会在这个例子中使用它们，但我猜这同样适用于其他非容器设置。

所以在每个虚拟机上我们都有 CoreOS。在每个 CoreOS 实例上运行的是一个 Mesos 可执行文件/服务器。集群中的所有 Mesos 节点都将它们下面的所有内容视为一个资源池，并且可以将工件任意部署到 Mesos 集群，Mesos 将确定实际将它们部署到哪个 CoreOS 实例。

在 Mesos 之上运行的是“Mesos 框架”，例如 Marathon 或 Kubernetes。在 Kubernetes 中运行的是各种 Docker 容器（C1- C4）。

这种对 Mesos 的理解或多或少是正确的吗？

Answer 1

您的总结几乎是正确的，但它并不能反映 mesos 所代表的本质。项目背后的公司 mesosphere 的愿景是创建一个“数据中心操作系统”，而 mesos 是它的内核，类似于普通操作系统的内核。API 不限于 Java，您可以使用 C、C++、Java/Scala 或 Python。如果您已经设置了 mesos 集群，正如您在问题中描述的那样并且想要使用您的资源，您通常通过框架来完成此操作，而不是直接在其上运行您的工作负载。这并不意味着这很复杂，这是Scala 中的一个非常小的示例，它演示了这一点。存在用于多种流行的分布式数据处理系统的框架，例如Apache Spark、Apache Cassandra. 还有其他框架，例如数据中心级别的Chronos a cron 或Marathon，它们允许您运行基于 Docker 的应用程序。

更新：

是的，mesos 会像内核一样关注集群中的位置——调度和管理有限资源。然而，您所勾画的设置提出了几个明显的问题。

mesos 下的层： 在 CoreOS 上安装 mesos是可能的，但我认为很麻烦。这不是运行 mesos 的典型场景——通常它被移动到可能的最低层（在你的例子中高于 Ubuntu）。所以我希望你有充分的理由运行 CoreOS和管理程序。

mesos 之上的层：Kubernetes 可以作为框架使用，而 mesosphere 似乎在其中付出了很多努力。然而，毫无疑问，在功能方面存在部分重叠——尤其是在调度方面。如果您想基于 Containers 安排基本工作负载，您可能最好使用Marathon或在未来使用Aurora。所以在这里我也希望你有充分的理由来做这个安排。旁注：Kubernetes 与 Marathon 类似，具有更广泛的方法并且非常固执己见。