问题标签 [apache-aurora]

我想通过使用 java 在集群上分发 Docker 容器并定义依赖项，这样当一个容器完成后，我就可以在我的 java 代码中解析生成的输出。有许多 mesos 框架可以实现这一点，我不确定该采用哪一个：Marathon、Singularity、Chronos、Aurora。

到目前为止我学到了什么：

Marathon 有一个非常好的 java 客户端 api，但用于长期任务（不知道这是否有问题，因为我的任务不会运行那么长时间），我认为我不能定义那种依赖关系。如果我要使用马拉松，我将不得不轮询应用程序的状态。Chronos 没有 java api（至少我找不到）。所以我可以在极光和奇点之间进行选择。

任何人都可以为我的用例提供帮助并向我推荐其中一个。

Marathon 和 Aurora 都是基于 Mesos 构建的，据说是为运行长时间运行的服务而设计的。我的问题是：

1. 他们有什么区别？我一直在努力寻找关于它们的主要差异的任何好的解释
2. 这些框架是否运行在 Linux 上运行的任何东西？对于 Marathon，他们声明它可以运行任何“在 shell 中可执行”的东西，但这有点模糊 :)

谢谢！

命令行客户端是提交作业的唯一方法吗？是否有 REST 或特定于语言的 API？

我正在使用运行科学工作流的范围检查 Apache Aurora（假设一组特定序列的 python 脚本）。我已经成功地运行了其中一些极光作业，它看起来非常适合我的特定用例。

我想知道是否有一种方法可以指定特定任务（或一般作业）需要我的 Apache Mesos 集群中的大量 GPU 资源当然 Mesos 需要首先了解 GPU 资源，看起来这是可以通过定义这些 GPU 资源（如此处所示）来实现。

所以问题是是否有办法通过 Aurora 与 Mesos 通信，以接受可用 GPU 资源的报价。据我所知，Aurora 中的 Resource 对象仅限于 CPU/Ram/Disk 资源。非常感谢任何提示。

谢谢！

我正在尝试在我的 Mesos 集群上部署 Aurora，但是在运行时aurora-scheduler，它总是无法显示 NullPointerException。这是我的设置：

• 基于 Ubuntu 14.04 的 Docker 容器
• OpenJDK8
• Mesos 0.22.1
• 极光 0.10.0
• 3 个 ZooKeeper 实例
• 1 Mesos 大师
• 4 梅索斯奴隶

我很确定 ZooKeeper/Mesos 设置已经启动并运行，因为我可以毫无问题地使用 Marathon 框架。

这是我scheduler.sh尝试运行的：

我已按照Aurora 官方文档中提供的安装步骤进行操作。

我在PasteBin上上传了完整的输出。

我正在寻找一种解决方案来运行大量任务并监控它们在集群上的状态。

详细说明：每个任务由 3-4 个 docker 包含的进程组成（每个进程都是一个 docker run 命令）。所有进程都必须在同一台服务器上运行。

我们所说的任务数量是一次爆发数百个任务。

我研究了几种基于 Mesos 的解决方案：

• Chronos - 似乎它在高负载下会动摇，并且在任何情况下都更倾向于重复（cron）作业。虽然我需要一次性（繁重的）工作。
• 自定义 Mesos FW - 似乎低级别需要我编写调度和重试机制，我会将其保存以备不时之需。
• Aurora - 这似乎很有希望，因为每个任务都在同一个节点上运行并由多个进程组成。不过，我在这里遗漏了一些：Aurora 似乎无法将多个任务作为单个作业的一部分运行。由于我的任务都具有不同的输入，因此我可以使用具有许多（例如 400 个）实例的单个作业，并且每个任务的第一个进程（其角色是从 S3 下载输入）可以根据实例 ID 下载不同的集合. 这给我带来了另一个问题：我找不到在 .aurora 文件中使用 {{ mesos.instance }} 的工作示例，谁能给我一个示例？

感谢所有吃鱼的人

我一直在比较马拉松和极光。

马拉松：

• 便于使用
• 轻的
• 更积极地添加新功能

极光：

• 更多功能集和更灵活的对象配置
• 沉重且难以使用
• 更保守地添加新功能

现在，我们无法决定使用哪一个。这里有几个问题希望有人能回答：

1. 如何处理 Aurora 中的一组任务？Marathon 支持分组，一组任务可以一起管理，但是我在 Aurora 中找不到分组。
2. 如何为 Aurora 中的进程/任务配置环境变量？
3. 如何为 Aurora 中的状态更新添加事件处理程序？我们想实现定制的警报。在马拉松比赛中是可能的。

我设置了一个运行 Apache Aurora 框架的 Mesos 集群，我注册了 100 个 cron 作业，它们每分钟在 5 个从机池上运行。我在预定 100 次后发现，cron 作业堆积在“PENDING”状态。请问我可以检查什么样的日志以及可能的问题是什么？

我有一个 Mesos 和 Aurora 的设置，我已经对我需要部署的应用程序进行了 docker 化，现在我必须启动带有 docker 支持的 mesos slave，但是我无法启动带有 docker 支持的 mesos slave，我是尝试以下方法：

这给了我

但如果我尝试：

从站被激活。

谁能让我知道如何解决这个问题。

我已经建立了一个 Apache Aurora 集群并设法安排了 hello world 任务。

我应该使用什么命令来列出/查看集群中的任务？