问题标签 [mesos]

我有一个 Mesos 集群设置——我已经验证主服务器可以看到从服务器——但是当我尝试运行 Hadoop 作业时，所有任务都以 LOST 状态结束。所有从属 stderr 日志中都存在相同的错误：

这是 stderr 日志中唯一的一行。

按照http://mesosphere.io/learn/run-hadoop-on-mesos/上的说明，我在 HDFS 上放置了一个修改后的 Hadoop 发行版，每个从站都可以访问。在libHadoop 发行版的目录中，我添加了hadoop-mesos-0.0.4.jar和mesos-0.14.2.jar.

我已经验证每个从站实际上确实下载了这个 Hadoop 发行版，并且其中hadoop-mesos-0.0.4.jar包含 class org.apache.hadoop.mapred.MesosExecutor，所以我无法弄清楚为什么找不到该类。

我正在使用来自 CDH4.4.0 和 mesos-0.15.0-rc4 的 Hadoop。

有没有人对可能是什么问题有任何建议？我知道我总是会从一个CLASSPATH问题开始，但是在这种情况下，mesos-slave 正在下载、解包并尝试运行 Hadoop TaskTracker，所以我想任何CLASSPATH会由 mesos-slave 设置。

在从日志的标准输出中，打印环境。有一个MESOS_HADOOP_HOME是空的。这应该设置什么吗？如果它应该设置为下载的 Hadoop 发行版，我无法提前设置它，因为 Hadoop 发行版每次都下载到新位置。

如果发生相关事件（可能存在一些权限问题），当尝试通过主 UI 浏览从属日志时，我会收到错误消息Error browsing path: ...。当我手动操作时，运行 mesos-slave 的用户可以浏览到正确的目录。

当您在 mesos gui 上选择从属设备时，Apache mesos 无法找到从属设备的使用情况。Web 控制台也显示“尝试加载资源时失败”。

我正在编写一个 mesos 框架，我想使用我的自定义执行器来执行我的任务。我浏览了其他几个 mesos 框架代码库（chronos 和 marathon），并编写了一个使用默认命令执行器执行 shell 命令的调度程序。现在我想用自定义的东西替换默认的执行器。问题是我不知道如何向奴隶注册执行者。关于构建框架的文档指出它应该是一个可执行文件，您可以使用 executorInfo 提供路径，但我不知道该怎么做。另外，拥有每个执行器都必须实现的 Executor 接口，同时在所有这些之上还需要一个可执行文件有什么意义？可执行文件的参数是什么？

成功编译 Mesos 0.16.0 后，在检查 PythonFramework 时运行测试失败。所有其他测试均成功通过。

我用于构建的步骤：

然后，在运行测试时；

结果如下所示：

环境：

OS X 10.9.1（小牛）

达尔文上的 Python 2.7.5（默认，2013 年 8 月 25 日，00:04:04）[GCC 4.2.1 Compatible Apple LLVM 5.0 (clang-500.0.68)]

gcc-4.7 (GCC) 4.7.3 版权所有 (C) 2012 Free Software Foundation, Inc. 这是免费软件；查看复制条件的来源。没有保修；甚至不考虑适销性或特定用途的适用性。

如何构建适当的 Mesos Python 绑定以通过此环境中的测试？

我想在 Mac 上测试 Spark 程序。Spark 正在运行并且我的 spark scala 程序编译：但是在运行时有一个库（mesos .so？）错误：

为了运行 spark 客户端程序，除了 spark 服务器本身之外，os/x 上还需要什么设置才能运行 spark 客户端程序？

我从 git 克隆：

也做过

然后尝试按照“入门”在

http://mesos.apache.org/gettingstarted/

特别是：

所以我跑了

这是结果的修剪输出。我没有看到任何错误，但有很多警告。最终结果以 1 退出，并且没有生成配置脚本：

通过 REST API在chronos中安排作业时是否可以指定资源要求（cpu、mem、...） ？我发现有允许为每个任务指定一般资源要求的配置选项，但我想知道是否可以为每个作业执行此操作。

我正在与一些同事共享一个 linux 盒子，他们都在 mesos 生态圈中开发。测试我经常使用的框架的最方便的方法是运行mesos-local.sh（将主服务器和从服务器组合在一起）。

只要我的同事都没有这样做，那就很好。一旦其中一个确实使用了该快捷方式，其他人就无法再这样做了，因为主特定临时文件存储在/tmp/mesos其中，并且运行该 mesos 实例的用户将拥有这些文件和文件夹的所有权。因此，当另一个用户尝试执行相同的操作时，在尝试从框架运行任何任务时会发生以下情况；

F0207 05:06:02.574882 20038 paths.hpp:344] CHECK_SOME(mkdir): 无法创建执行程序目录 '/tmp/mesos/0/slaves/201402051726-3823062160-5050-31807-0/frameworks/20140207050505-508 -20015-0000/executors/default/runs/d46e7a7d-29a2-4f66-83c9-b5863e018fee'权限被拒绝

不幸的是，mesos-local.sh它不提供覆盖该路径的标志，而mesos-master.shvia 提供--work_dir=VALUE。

因此，明显的解决方法是不使用mesos-local.sh主和从作为单独的实例。虽然不太方便...

我已经使用 marathon 在 mesos 上成功创建和运行任务。但是，当您使用 marathon 启动它时，它应该支持 http 回调

但是，这似乎并没有真正向我的服务发送任何回调。为了使用回调，还有其他什么应该使用的吗？

我正在尝试将 Chronos 配置为使用https://github.com/mesosphere/mesos-docker/上的自定义 mesos-docker 执行程序。每次我尝试运行命令它都会失败。

我使用以下命令创建了任务

我还在执行程序中配置了日志记录，下面是我在失败时得到的日志

有什么我想念的吗。我是否需要在命令中提供 JSON。