问题标签 [mesos]

我目前正在学习 Mesos，想知道是否可以在 Mesos 池上执行使用 Cascading 定义的作业。由于 Mesos 支持 Hadoop 和级联流编译为 Hadoop jar 文件，我认为这是可行的。但是我需要尊重特定的设置吗？

Apache Mesos 的“主”节点能否与 Mesos 的“从”节点位于同一台机器上？同样（对于高可用性 (HA) 部署），用于 Mesos“主”选举的 Apache Zookeeper 节点能否部署在与 Mesos“从”节点相同的机器上？

Mesos 建议使用 3 个“主节点”进行 HA 部署，Zookeeper 建议将 5 个节点用于其仲裁选举系统。最好让这些服务与 Mesos 的“从属”进程一起运行，而不是让 8 台机器有效地执行“非生产性”任务。

如果这样的设置是可行的，那么这样的设置的优点/缺点是什么？

谢谢！

我摸不着头脑，想弄清楚 docker、mess 和 marathon 的组合如何帮助我构建分布式应用程序。

应用程序有一个后端，由处理客户端请求和返回 json 数据的服务组成，这些服务由前端的 UI 层使用。服务需要具有高可用性和可扩展性。通过 REST 和 Web UI 支持用户交互。

如果有人能回答我的以下问题，我将不胜感激：

• 任何使用上述所有内容构建应用程序的示例/电子书/指南？
• mess/maraton 是否提供对集群的内置支持？或者您需要
  在容器中使用 akka 集群或 netty？
• 负载平衡如何与混乱/马拉松一起工作？
• 我的应用程序是这些技术的一个很好的用例吗？

谢谢

我知道 Kafka 0.9 版本计划与 Mesos API 进行本机集成。同时，使用 Marathon 运行和扩展 Kafka 代理会很棒。有没有人已经有这样做的经验？

我对 Mesos / Marathon 有点陌生，我尝试将它与我的 Docker 图像集成。

到目前为止：Mesos 0.21 for slave & master / Marathon 0.7.5 当然还有 Zookeeper。

我成功地使用 curl 添加了我的 docker 图像，但不幸的是，我有两个主要问题：

1. 即使我已经在本地构建了我的镜像（在这种情况下是一个 tomcat7 Docker 镜像）并且看到了 Marathon 配置，它已经很好地考虑到了，但启动的 docker 镜像并不是预期的，它始终是一个ubuntu:latest镜像。
2. 如何管理 docker 端口转发？我们是否被迫使用 HAProxy 之类的解决方案？我看到我的 Mesos 从站始终使用相同范围的端口（31000 - 32000）来启动容器。

谢谢大家的支持。

我的调度程序从执行程序获取重复的终端状态更新。我注意到这主要发生在调度程序从许多执行程序那里获得大量状态更新时。我尝试搜索可能导致它的原因，但找不到任何东西。mesos master 应该向 slave 发送 ack 吗？

更具体地说，我在调度程序中的 statusUpdate 方法被多次调用以从执行程序中更新完全相同的状态。

我们目前正在使用 Apache Mesos 与 Marathon 和 Chronos 来安排长时间运行和批处理过程。

如果我们能像 Oozie 一样创建更复杂的工作流程，那就太好了。例如，当文件出现在某个位置或某个应用程序完成或调用 API 时，就会启动一项工作。

虽然我们似乎可以使用 Marathon/Chronos 或 Singularity 来做到这一点，但似乎没有现成的可用界面。

是否有可能在 Mesosphere 上运行像 Mongodb 这样的数据库，并且在需要扩展时，向 Mesos 集群添加更多节点而不进行分片，而不是添加更多的 Mongodb 实例和分片。

我正在尝试WordCount使用 Hadoop 2.5.2 在 Mesos 上运行一个简单的示例。我已经成功设置了 HDFS（实际上在这之后设置了一个 YARN，它工作正常）。Mesos master 正在运行并且有 4 个 slave 连接到它。Mesos 的 Hadoop 库是 0.0.8。

Hadoop 2.5.2 的配置是 ( mapred-site.xml)：

我从我的所有奴隶那里得到了以下日志（示例）：

dbpc42: I1202 00:03:12.066195 11232 launcher.cpp:137] 容器 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' 的 pid 为 '18714' 的分叉子

dbpc42: I1202 00:03:12.068272 11232 containerizer.cpp:571] 使用命令“/opt/mesos-0.21.0/build/src/mesos-fetcher”获取容器“c10c2d2b-bf4b-469b-97a2-60c9720773b4”的 URI

dbpc42: I1202 00:03:12.140894 11226 containerizer.cpp:946] 销毁容器'c10c2d2b-bf4b-469b-97a2-60c9720773b4'

dbpc42: E1202 00:03:12.141315 11229 slave.cpp:2787] Container 'c10c2d2b-bf4b-469b-97a2-60c9720773b4' for executor 'executor_Task_Tracker_93' of framework '20141201-225046-698725789-5050-19765-0003' failed to start ：无法获取容器“c10c2d2b-bf4b-469b-97a2-60c9720773b4”的 URI：退出状态 256

DBPC42：I1202 00：03：12.242033 11231 Containerer.cpp：1117] ecectuter for Container'C10C2D2B-BF4B-469B-469B-97A2-60C9720720773B4已退出DBPC42：I11202：i1202：i1202 oertor框架 20141201-225046-698725789-5050-19765-0003 以状态 1 退出

作业跟踪器运行良好，hadoop jar命令作业卡在map 0% reduce 0%。在 mesos 集群信息中，TASKS_LOST计数器一直上升，直到我终止工作。Mesos 和 JobTracker 以 root 身份运行，作业以 user 身份运行hdfs。

这个 URI 问题到底是怎么回事？

感谢您的帮助或提示！

（如果需要，我会提供更多信息。）

更新

在主机运行的同一台 PC 上启动从机将使任务进入暂存状态。5、每次。

mapred-mesos.executor.uri已从 IP 更改为（主dbpc41PC）。

由于（可能）无法获取执行程序 URI，其他 4 个从属服务器仍在丢失任务。

这些是在主服务器所在的同一台 PC 上运行的第 5 个从服务器的日志：

I1202 16:17:57.434345 1405 containerizer.cpp:571] 使用命令 '/opt/mesos-0.21.0/build/src/mesos-fetcher' I1202 16 获取容器 '5f33123b-00eb-4e05-9dcc-30f16f5eee44' 的 URI ：18：08.620708 1412 SLAVE.CPP：2840]监视执行器'exectutor_task_tracker_445'framework'20141201-225046-698725789-505050505050-19765-0012 1407 containerizer.cpp:1117] 容器“5f33123b-00eb-4e05-9dcc-30f16f5eee44”的执行程序已退出 I1202 16:18:09.022964 1407 containerizer.cpp:946] 正在销毁容器“5f33123b-00eb-4e05-9dcc-4”e W302e 16:18:11.369912 1407 containerizer.cpp:888] 跳过容器 5f33123b-00eb-4e05-9dcc-30f16f5eee44 的资源统计信息，因为：未能获得使用情况：No process found at 11093 W1202 16:18:11.369971 1407 containerizer.cpp:888] 跳过容器 5f33123b-00eb-4e05-9dcc-30f16f5eee44 的资源统计信息，因为：无法获得使用情况：在 11093 I1202 16:18:11.3994 找不到进程1412 slave.cpp:2898] 框架 20141201-225046-698725789-5050-19765-0012 的执行程序 'executor_Task_Tracker_445' 退出，状态为 1 I1202 16:18:11.401949 1412 slave.cpp:22215] 处理状态更新 TASK709:cUUI 5546-41fd-9af3-09f024bb6354) 用于框架 20141201-225046-698725789-5050-19765-0012 的任务 Task_Tracker_445 来自 @0.0.0.0:0 W1202 16:18:11.402245 1409 containerizer.cpp 更新未知容器:85] 5f33123b-00eb-4e05-9dcc-30f16f5eee44 I1202 16:18:11.403017 1410 status_update_manager.cpp:317] 收到状态更新 TASK_LOST (UUID:959709C2-5546-41FD-9AF3-09F024BB6354）用于任务任务task_tracker_445 of Framework 20141201201-225046-698725789-5050505050505050-19765-0012 41FD-9AF3-09F024BB6354）用于任务task_tracker_445 f框架20141201-225046-698725789-5050-5050-19765-0012 to Master@157.157.181.165.41：5050 I1202 16：18：18：11.11.11.11.444.444.444.444.444.452 empter_165.41： 959709C2-5546-41FD-9AF3-09F024BB6354）用于任务任务task_tracker_445 for framework 20141201201201-225046-698725789-50505050505789-5050-19765-12202 i1202 i1202 i1202 i1202 emotor 2014444444444444444449354 1408.3.444413 avety.trable oft： -698725789-5050-19765-0012 I1202 16:18:11.449707 1405 gc.cpp:56] 调度'/TMP/MESOS/SLAVES/20141201-225046-698725789-5050-19765-S4/FRAGEWORKS/20141201201255046-698725789-50505050-19765-0012 gc 6.99999479755852days in the future I1202 16:18:11.450034 1409 gc.cpp:56] Scheduling '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S4/frameworks/20141201-225046-698725789-5050- 19765-0012/executors/executor_Task_Tracker_445' for gc 6.9999947929037days in the future I1202 16:18:11.450147 1408 slave.cpp:3084] Cleaning up framework 20141201-225046-698725789-5050-19765-0012 I1202 16:18:11.450213 1406 status_update_manager .cpp:279]关闭框架20141201-225046-698725789-5050-19765-0012 I1202 16:18:11.450381 1412 gc.cpp:56的状态更新流]调度'/TMP/MESOS/SLAVES/20141201-225046-698725789-5050-19765-S4/FRAGERWORKS/20141201-225046-698725789-50505050-5050-19765-FON GC 6.99999999947888888888888888888888122 :1083] 为框架 20141201-225046-698725789-5050-19765-0012 I1202 分配了任务 Task_Tracker_472 16:18:12.442337 1405 gc.cpp:84] 取消调度'/tmp/mesos/slaves/20045501271-2788-952 19765-S4/框架/20141201-225046-698725789-5050-19765-0012'来自GC I1202 16：18：12.442617 1405 Slave.CPP.CPP：1193]启动task_tracker_472 16：18：12.444263 1405 slave.cpp：3997]在工作目录'中启动框架20141201-225046-698725789-5050-19765-0012的执行器executor_Task_Tracker_472/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S4/frameworks/20141201-225046-698725789-5050-19765-0012/executors/executor_Task_Tracker_472/runs/2310c642-02bf-401b-954c-876c88675c31' I1202 16:18:12.444756 1405 slave.cpp:1316] 为框架'20141201-225046-698725789-5050-19765-0012 I1202 16:1439 18:12.4cpp:16:18:12.4cpp: 框架'20141201-225046-698725789-5050-19765-0012.4447 2310c642-02bf-401b-954c-876c88675c31' for executor 'executor_Task_Tracker_472' of framework '20141201-225046-698725789-5050-19765-0012' I1202 16:18:12.447434 1406 launcher.cpp:137] Forked child with pid '11549'对于容器'2310c642-02bf-401b-954c-876c88675c31' I1202 16:18:12.448652 1406 containerizer.cpp:571] 获取容器的 URIs2310c642-02bf-401b-954c-876c88675c31' 使用命令'/opt/mesos-0.21.0/build/src/mesos-fetcher'

stderr运行 map-reduce 作业时记录以下内容：

内容stderr：

警告：在将 InitGoogleLogging() 写入 STDERR I1202 19:41:40.323521 7223 fetcher.cpp:76] 之前记录日志正在获取 URI 'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz' I1202 19： 41:40.323685 7223 fetcher.cpp:105] 将资源从 'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz' 下载到 '/tmp/mesos/slaves/20141201-225046-698725789-5050 -19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.2.0.tg

I1202 19:41:48.779220 7223 fetcher.cpp:64] 提取资源 '/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-6981976789-16/slaves/executor- /executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.2.0.tgz'进入'/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/ 20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd'

sh: 1: cd: 不能 cd 到 hadoop-2.5.0-cdh5.2.0

sh: 1: ./bin/hadoop: 未找到

stdout是空的。

有趣的是，当我在主节点运行的同一节点上运行从节点时，问题不会出现并且任务成功完成。只有远程从站会引入这个问题。可能是什么问题呢？