问题标签 [mesos]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
3227 浏览

apache-spark - 只能在同一台机器上从 Spark 连接到 Mesos

我正在尝试在 Mesos 集群上运行 Spark。

当我./bin/spark-shell --master mesos://host:5050从运行 Mesos 主机的机器上运行时,一切正常。但是,如果我从另一台机器运行相同的命令,则在尝试连接后进程会挂起:

在 mesos master 上,我看到以下输出:

从机输出的位置

有没有人见过类似的东西?

0 投票
1 回答
1944 浏览

maven - 构建 Apache Mesos 时出错

我一直在尝试在 Ubuntu 14.04 LTS 上构建 Apache Mesos。我运行了以下命令:

当我运行 make 我得到以下错误:

我还尝试在没有任何目标的情况下运行命令 mvn -e 并收到以下错误消息:

有人可以在这里指出问题吗?

0 投票
5 回答
17223 浏览

mesos - 在 Mesos 中杀死一个框架

我有一个 Mesos 集群,并且正在运行一个连接到它的 Spark shell。我关闭了客户端,但 Mesos 仍然认为框架应该处于活动状态。

我试图让 Mesos 通过使用 DELETE 和 curl 来删除框架(https://issues.apache.org/jira/browse/MESOS-1390

但我没有得到服务器的响应。此外,我不确定如何准确连接到主服务器:我有一个由 ZooKeeper 管理的多主服务器设置,并且我试图仅连接到活动主服务器:

谁能验证上述请求是否正确?我正在使用 mesos-0.20.0。

谢谢

0 投票
1 回答
623 浏览

hadoop - 在 Mesos 上运行 Impala

是否可以在 Mesos 上运行 Impala?

有没有人试过这个?

我知道有Llama可以在 YARN 上运行 Impala。Mesos 有类似的东西吗?

0 投票
0 回答
353 浏览

apache-spark - 通过 Monit 运行 Mesos

我正在尝试使用 monit 运行 Mesos(没有 zookeeper)以保持从属运行。

我使用以下脚本来启动和停止 mesos slave:

启动-slave.sh

停止奴隶.sh

当我通过 ssh 启动脚本时,它们运行良好。但是,当我通过 monit 按如下方式使用它们时,slave 寄存器(我可以在在线界面上看到它们)但是当我尝试使用 spark 运行计算时,它会失败,因为大多数任务都丢失了。

监控设置

日志 exerp

我使用Monit正确吗?

0 投票
1 回答
4011 浏览

cluster-computing - mesosphere 和 coreos 之间的主要区别

首先,比较这两种产品是否正确?如果是,它们之间的主要区别是什么?

0 投票
1 回答
154 浏览

hadoop - Mesos & Hadoop:如何获取正在运行的作业输入数据大小?

我在 Mesos 0.14 之上运行 Hadoop 1.2.1。我的目标是记录输入数据大小、运行时间、cpu 使用情况、内存使用情况等,以便以后进行优化。除了数据大小之外,所有这些都是使用 Sigar 获得的。

有什么方法可以获取正在运行的任何作业的输入数据大小?

例如,当我运行 hadoop 示例的terasort时,我需要在作业实际运行之前获取 teragen 生成的数据大小。如果我正在运行Wordcount 示例,我需要获取 wordcount 输入文件大小。我需要自动获取数据大小,因为以后我将无法知道该框架内将运行什么作业。

我正在使用 Java 编写一些 mesos 库代码。最好,我想在 MesosExecutor 类中获取数据大小。出于某种原因,升级 Hadoop/Mesos 不是一种选择。

任何建议或相关 API 将不胜感激。谢谢你。

0 投票
1 回答
409 浏览

scheduler - Mesos 从机统计

在 Mesos 中,slave 是否只向 master 报告 CPU 和内存信息?他们可以传播任何其他自定义信息吗?例如,我有一个应用程序可以告诉外部进程有多忙。它能否将该信息报告给 Mesos 从站,然后再向主站报告并用于资源提供?

0 投票
2 回答
5761 浏览

hadoop - Apache Mesos 从站无法连接到主站

我一直在尝试设置 apache mesos,有两台机器,一台作为从机,另一台作为主机和从机。为此,我一直在使用 mesosphere 包。

主机(james-pc)上的从机连接正常,但另一台机器上的从机似乎没有连接。在下面记录消息。

这些是样本。时间戳可能不匹配。我已经运行了相同的命令并阅读了很多 og 文件:(

谢谢!!

奴隶

掌握

james@james-pc:/var/log/mesos$ cat mesos-slave.james-pc.invalid-user.log.INFO.20141015-134946.6069

0 投票
1 回答
1785 浏览

docker - 使用 Marathon json 创建新的实现

我们一直在探索将 marathon 部署到 docker 集群中。在应用程序架构中,我们有一个应用程序服务器需要访问的 postgresql 数据库。

在开发阶段,我们依靠 fig 来创建 docker 之间的链接,然后使用 docker 强加的环境变量连接到目标(app server to postgresql)

然而,在 Marathon 中我们找不到类似的方法,我们尝试使用依赖项但没有奏效,下面是我们的 Marathon.json 文件

有人可以建议吗?