问题标签 [apache-aurora]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mesos - Aurora 文件定义主机端口
好的,一周或更长时间后,我的 Aurora 集群开始运行。这并不容易,但是,我明白了。
我有一个简单的极光文件
没什么特别的。我只想定义我需要使用的端口。我检查了 Resources(port = 3000) 但它不起作用。它不是真正的资源,它是 mesos 中的一个属性
docker - Aurora:docker 参数中的未知模式
我有一个包含这个 docker 参数的极光文件:
得到这个错误:
是否有将主机端口与 docker 容器端口连接的解决方案?
mesos - 将 Apache Aurora 与 dcos 集成
支持 GPU 资源的 mesos 框架只有两个:Marathon 和 Aurora。我想在具有 GPU 资源的 mesos 代理上启动批处理作业。所以,只有极光支持这样的工作。但是目前dcos官方不支持Aurora。我试图整合但没有成功。DCOS Mesos 大师不注册 Aurora 框架,但参展商为 Aurora 创建记录。我没有设法在 mesos masters 日志中找到有关 Aurora 的任何记录。这是我的极光调度器配置:
mesos - 如何禁用 apache mesos 内存/磁盘隔离?
我正在使用 docker 容器检查 Apache Aurora (1.1.0) (0.16.0) 和 Apache Mesos (0.16.0) (1.1.0)。这是一个示例 Aurora 作业定义,
但是,由于指定disk
和ram
限制困扰着我,我想让两者都禁用。
问题1
我认为如果我的所有 mesos 代理都是使用选项--isolation=cgroups/cpu
(not ) 启动的,那么只有 CPU 资源会被隔离(=limited --isolation=cgroups/cpu,cgroups/mem
)。
但即使在这种情况下,mesos docker containerizer 启动的所有 docker 容器都有--memory
选项,这是硬限制,如果 docker 容器需要更多内存,则会导致 OOM 杀手。(而且似乎 mesos docker containerizer 不支持--memory-reservation
。)
问题 2
即使在Aurora实例中--isolation=cgroups/cpu
删除ram
或参数的情况下,也会导致以下错误。disk
Resource
加载配置时出错:TypeCheck(FAILED): MesosJob[task] failed: Task[resources] failed: Resources[ram] is required。
我的问题
- 是否可以禁用内存和磁盘隔离?
--isolation=cgroups/cpu
和 和有什么不一样--isolation=cgroups/cpu,cgroups/mem
?
docker - 通过 aurora 在 mesos 中使用大型 docker 映像启动作业可能会很慢
当通过 aurora 在 mesos 上启动一个使用相当大的 docker 镜像(~2GB)的任务时,在任务实际开始之前有很长的等待时间。
即使任务之前已经启动并且我们希望 docker 映像已经可用于工作节点,在任务实际启动之前仍然存在取决于映像大小的等待时间。使用 docker,您几乎可以立即启动一个容器,只要它已经在您的图像列表中,mesos containerizer 是否也不支持这种“缓存”?这个功能是可以配置的吗?
我没有尝试使用 docker 容器化器,但据我了解,无论如何它很快就会被淘汰,而且我们需要的 gpu 资源隔离仅适用于 mesos 容器化器。
linux - Apache Aurora 0.16.0 到 0.17.0 升级
当我们将 Apache aurora 集群从 0.16.0 升级到 0.17.0 时,我们遇到了 Aurora Web UI 中未显示作业详细信息的问题。
我们正在通过更改我们构建并推送到本地 docker 存储库的 aurora docker 版本来进行升级。
还有任何步骤或文档可以将 Aurora 从版本 0.16.0 正确升级到 0.17.0
谢谢,
docker - 在由 mesos containerizer 运行的 docker 容器中使用 S3FS
我有一个 docker 映像,我在其中使用 S3FS 挂载 S3 存储桶以用作常规文件系统。现在,当我使用 docker 引擎运行 docker 容器并设置特权模式时,这可以正常工作,但在尝试使用 mesos 容器化程序运行此容器时似乎失败了。
我正在尝试通过 Aurora 调度程序运行这个容器,我得到的错误如下:
保险丝:未找到设备,请先尝试“modprobe fuse”
我之前尝试过从运行在 mesos 下的容器挂载 nfs 共享,所以这对我来说似乎有点奇怪,有人有关于这个问题的任何信息吗?
mesos - 单个 Apache Mesos 进行真实的资源使用监控
有谁知道是否可以监控 Mesos 中的任务正在执行的真实(不允许,由 aurora 配置)资源使用情况?
我已经查看了所有 Mesos HTTP 端点,但我只能找到配置信息(我已在 .aurora 文件中修复的资源)。
谢谢大家。
编辑:我实际上已经刮掉了所有 /master/.. /slave/... 端点,但它没有提供真正的资源使用信息,它只为您提供有关每个任务的预留资源的信息。
python - 监控 Apache Aurora Observer 资源使用情况
我一直Mesos
在 vagrant 上通过 aurora 运行任务。
我需要监视实际显示在 Observe 中的任务实际使用的资源(不是每个极光配置固定的资源),但我还没有找到任何端点来执行此操作。
Aurora 提供了这个 python 库,但我真的不知道如何使用它。
那么,有没有人遇到同样的问题?你怎么修好它的?
hadoop - 提交拓扑后命令状态停止“创建作业 WordCountTopology”
我尝试使用 Apache Mesos、Apache Aurora、ZooKeeper 和 HDFS 构建 Heron 集群。但是,当我在完成后提交 WordCountTopology 时,命令输出如下:停止“创建作业 WordCountTopology”。
苍鹭追踪器显示:
此外,它在集群中有两台主机。
- master 名为 heron01,运行 Mesos Master、zookeeper 和 Aurora Scheduler。
- slave 命名为 heron02,运行 Mesos slave、Aurora Observer 和 Executor。
我可以使用网站打开 Observer( heron02:1338
) 和 Executor( heron02:5051
)。我不知道我在哪里犯了错误。集群配置非常复杂,我无法在这里完全展示。您可以查看我的网站关于集群配置的信息。很抱歉我的网站是中文的,但我相信你能理解网站中的配置文件内容。博客在这里
非常感谢您的帮助。