kubernetes - 最先进的作业调度（容器、混合云）？

Question

我们有一种评估工作，其中包括数千次调用具有各种输入的遗留二进制文件，每个输入都运行一分钟。各个运行完全可并行化（每个核心一个实例）。

在混合云场景中执行此操作的最先进技术是什么？

Kubernetes 本身似乎并没有提供用于优先处理或管理等待作业的接口。詹金斯在这些方面会很擅长，但感觉就像一个黑客。当然，我们可以自己破解一些东西，但是这个问题应该足够通用，以至于已经有了一个开箱即用的解决方案。

Answer 1

您可能对以下有关使用 Mesos 进行混合云的文章感兴趣

• Xue、Noha 和 Haugerud、Hårek 和 Yazidi、Anis。（2017）。迈向使用 Apache Mesos 的混合云平台。143-148。10.1007/978-3-319-60774-0_12。

混合云技术正变得越来越流行，因为它融合了私有云和公共云，将两个世界的精华融合在一起。然而，由于异构云安装，促进混合云设置并不简单。尽管有一些商业解决方案可用于构建混合云，但开源实现仍然不可用。在本文中，我们试图通过利用 Apache Mesos 的强大功能提供开源实现来弥合差距。我们在多个私有和公共云平台之上构建混合云。

• Apache Mesos 满足您所有的混合云需求
• 选择混合云的最佳方法

Answer 2

有很多框架可以帮助管理 Kubernetes 集群中的作业。最受欢迎的是：

• Argo用于在 Kubernetes 上编排并行作业。工作流被实现为 Kubernetes CRD（自定义资源定义）。
• Airflow - 具有模块化架构并使用消息队列来编排任意数量的工作人员。另请查看kubernetes-executor。

我建议您查看描述每个框架并帮助您确定哪个更适合您的视频。