问题标签 [apache-aurora]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
260 浏览

mesos - Aurora 文件定义主机端口

好的,一周或更长时间后,我的 Aurora 集群开始运行。这并不容易,但是,我明白了。

我有一个简单的极光文件

没什么特别的。我只想定义我需要使用的端口。我检查了 Resources(port = 3000) 但它不起作用。它不是真正的资源,它是 mesos 中的一个属性

0 投票
1 回答
375 浏览

docker - Aurora:docker 参数中的未知模式

我有一个包含这个 docker 参数的极光文件:

得到这个错误:

是否有将主​​机端口与 docker 容器端口连接的解决方案?

0 投票
1 回答
560 浏览

mesos - 将 Apache Aurora 与 dcos 集成

支持 GPU 资源的 mesos 框架只有两个:Marathon 和 Aurora。我想在具有 GPU 资源的 mesos 代理上启动批处理作业。所以,只有极光支持这样的工作。但是目前dcos官方不支持Aurora。我试图整合但没有成功。DCOS Mesos 大师不注册 Aurora 框架,但参展商为 Aurora 创建记录。我没有设法在 mesos masters 日志中找到有关 Aurora 的任何记录。这是我的极光调度器配置:

0 投票
1 回答
386 浏览

mesos - 如何禁用 apache mesos 内存/磁盘隔离?

我正在使用 docker 容器检查 Apache Aurora (1.1.0) (0.16.0) 和 Apache Mesos (0.16.0) (1.1.0)。这是一个示例 Aurora 作业定义,

但是,由于指定diskram限制困扰着我,我想让两者都禁用。

问题1

我认为如果我的所有 mesos 代理都是使用选项--isolation=cgroups/cpu(not ) 启动的,那么只有 CPU 资源会被隔离(=limited --isolation=cgroups/cpu,cgroups/mem)。

但即使在这种情况下,mesos docker containerizer 启动的所有 docker 容器都有--memory选项,这是硬限制,如果 docker 容器需要更多内存,则会导致 OOM 杀手。(而且似乎 mesos docker containerizer 不支持--memory-reservation。)

问题 2

即使在Aurora实例中--isolation=cgroups/cpu删除ram或参数的情况下,也会导致以下错误。diskResource

加载配置时出错:TypeCheck(FAILED): MesosJob[task] failed: Task[resources] failed: Resources[ram] is required。

我的问题

  • 是否可以禁用内存和磁盘隔离?
  • --isolation=cgroups/cpu和 和有什么不一样--isolation=cgroups/cpu,cgroups/mem
0 投票
1 回答
139 浏览

docker - 通过 aurora 在 mesos 中使用大型 docker 映像启动作业可能会很慢

当通过 aurora 在 mesos 上启动一个使用相当大的 docker 镜像(~2GB)的任务时,在任务实际开始之前有很长的等待时间。

即使任务之前已经启动并且我们希望 docker 映像已经可用于工作节点,在任务实际启动之前仍然存在取决于映像大小的等待时间。使用 docker,您几乎可以立即启动一个容器,只要它已经在您的图像列表中,mesos containerizer 是否也不支持这种“缓存”?这个功能是可以配置的吗?

我没有尝试使用 docker 容器化器,但据我了解,无论如何它很快就会被淘汰,而且我们需要的 gpu 资源隔离仅适用于 mesos 容器化器。

0 投票
1 回答
74 浏览

linux - Apache Aurora 0.16.0 到 0.17.0 升级

当我们将 Apache aurora 集群从 0.16.0 升级到 0.17.0 时,我们遇到了 Aurora Web UI 中未显示作业详细信息的问题。

我们正在通过更改我们构建并推送到本地 docker 存储库的 aurora docker 版本来进行升级。

还有任何步骤或文档可以将 Aurora 从版本 0.16.0 正确升级到 0.17.0

谢谢,

0 投票
1 回答
608 浏览

docker - 在由 mesos containerizer 运行的 docker 容器中使用 S3FS

我有一个 docker 映像,我在其中使用 S3FS 挂载 S3 存储桶以用作常规文件系统。现在,当我使用 docker 引擎运行 docker 容器并设置特权模式时,这可以正常工作,但在尝试使用 mesos 容器化程序运行此容器时似乎失败了。

我正在尝试通过 Aurora 调度程序运行这个容器,我得到的错误如下:

保险丝:未找到设备,请先尝试“modprobe fuse”

我之前尝试过从运行在 mesos 下的容器挂载 nfs 共享,所以这对我来说似乎有点奇怪,有人有关于这个问题的任何信息吗?

0 投票
0 回答
35 浏览

mesos - 单个 Apache Mesos 进行真实的资源使用监控

有谁知道是否可以监控 Mesos 中的任务正在执行的真实(不允许,由 aurora 配置)资源使用情况?

我已经查看了所有 Mesos HTTP 端点,但我只能找到配置信息(我已在 .aurora 文件中修复的资源)。

谢谢大家。

编辑:我实际上已经刮掉了所有 /master/.. /slave/... 端点,但它没有提供真正的资源使用信息,它只为您提供有关每个任务的预留资源的信息。

0 投票
1 回答
32 浏览

python - 监控 Apache Aurora Observer 资源使用情况

我一直Mesos在 vagrant 上通过 aurora 运行任务。

我需要监视实际显示在 Observe 中的任务实际使用的资源(不是每个极光配置固定的资源),但我还没有找到任何端点来执行此操作。

Aurora 提供了这个 python 库,但我真的不知道如何使用它。

那么,有没有人遇到同样的问题?你怎么修好它的?

0 投票
1 回答
42 浏览

hadoop - 提交拓扑后命令状态停止“创建作业 WordCountTopology”

我尝试使用 Apache Mesos、Apache Aurora、ZooKeeper 和 HDFS 构建 Heron 集群。但是,当我在完成后提交 WordCountTopology 时,命令输出如下:停止“创建作业 WordCountTopology”。

苍鹭追踪器显示:

Heron UI 什么也没显示: 在此处输入图像描述

Aurora 调度器运行为: 在此处输入图像描述

此外,它在集群中有两台主机。

  1. master 名为 heron01,运行 Mesos Master、zookeeper 和 Aurora Scheduler。
  2. slave 命名为 heron02,运行 Mesos slave、Aurora Observer 和 Executor。

我可以使用网站打开 Observer( heron02:1338) 和 Executor( heron02:5051)。我不知道我在哪里犯了错误。集群配置非常复杂,我无法在这里完全展示。您可以查看我的网站关于集群配置的信息。很抱歉我的网站是中文的,但我相信你能理解网站中的配置文件内容。博客在这里 非常感谢您的帮助。