问题标签 [mesos]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 只能在同一台机器上从 Spark 连接到 Mesos
我正在尝试在 Mesos 集群上运行 Spark。
当我./bin/spark-shell --master mesos://host:5050
从运行 Mesos 主机的机器上运行时,一切正常。但是,如果我从另一台机器运行相同的命令,则在尝试连接后进程会挂起:
在 mesos master 上,我看到以下输出:
从机输出的位置
有没有人见过类似的东西?
maven - 构建 Apache Mesos 时出错
我一直在尝试在 Ubuntu 14.04 LTS 上构建 Apache Mesos。我运行了以下命令:
当我运行 make 我得到以下错误:
我还尝试在没有任何目标的情况下运行命令 mvn -e 并收到以下错误消息:
有人可以在这里指出问题吗?
mesos - 在 Mesos 中杀死一个框架
我有一个 Mesos 集群,并且正在运行一个连接到它的 Spark shell。我关闭了客户端,但 Mesos 仍然认为框架应该处于活动状态。
我试图让 Mesos 通过使用 DELETE 和 curl 来删除框架(https://issues.apache.org/jira/browse/MESOS-1390)
但我没有得到服务器的响应。此外,我不确定如何准确连接到主服务器:我有一个由 ZooKeeper 管理的多主服务器设置,并且我试图仅连接到活动主服务器:
谁能验证上述请求是否正确?我正在使用 mesos-0.20.0。
谢谢
apache-spark - 通过 Monit 运行 Mesos
我正在尝试使用 monit 运行 Mesos(没有 zookeeper)以保持从属运行。
我使用以下脚本来启动和停止 mesos slave:
启动-slave.sh:
停止奴隶.sh:
当我通过 ssh 启动脚本时,它们运行良好。但是,当我通过 monit 按如下方式使用它们时,slave 寄存器(我可以在在线界面上看到它们)但是当我尝试使用 spark 运行计算时,它会失败,因为大多数任务都丢失了。
监控设置:
日志 exerp:
我使用Monit
正确吗?
cluster-computing - mesosphere 和 coreos 之间的主要区别
首先,比较这两种产品是否正确?如果是,它们之间的主要区别是什么?
hadoop - Mesos & Hadoop:如何获取正在运行的作业输入数据大小?
我在 Mesos 0.14 之上运行 Hadoop 1.2.1。我的目标是记录输入数据大小、运行时间、cpu 使用情况、内存使用情况等,以便以后进行优化。除了数据大小之外,所有这些都是使用 Sigar 获得的。
有什么方法可以获取正在运行的任何作业的输入数据大小?
例如,当我运行 hadoop 示例的terasort时,我需要在作业实际运行之前获取 teragen 生成的数据大小。如果我正在运行Wordcount 示例,我需要获取 wordcount 输入文件大小。我需要自动获取数据大小,因为以后我将无法知道该框架内将运行什么作业。
我正在使用 Java 编写一些 mesos 库代码。最好,我想在 MesosExecutor 类中获取数据大小。出于某种原因,升级 Hadoop/Mesos 不是一种选择。
任何建议或相关 API 将不胜感激。谢谢你。
scheduler - Mesos 从机统计
在 Mesos 中,slave 是否只向 master 报告 CPU 和内存信息?他们可以传播任何其他自定义信息吗?例如,我有一个应用程序可以告诉外部进程有多忙。它能否将该信息报告给 Mesos 从站,然后再向主站报告并用于资源提供?
hadoop - Apache Mesos 从站无法连接到主站
我一直在尝试设置 apache mesos,有两台机器,一台作为从机,另一台作为主机和从机。为此,我一直在使用 mesosphere 包。
主机(james-pc)上的从机连接正常,但另一台机器上的从机似乎没有连接。在下面记录消息。
这些是样本。时间戳可能不匹配。我已经运行了相同的命令并阅读了很多 og 文件:(
谢谢!!
奴隶
掌握
james@james-pc:/var/log/mesos$ cat mesos-slave.james-pc.invalid-user.log.INFO.20141015-134946.6069
docker - 使用 Marathon json 创建新的实现
我们一直在探索将 marathon 部署到 docker 集群中。在应用程序架构中,我们有一个应用程序服务器需要访问的 postgresql 数据库。
在开发阶段,我们依靠 fig 来创建 docker 之间的链接,然后使用 docker 强加的环境变量连接到目标(app server to postgresql)
然而,在 Marathon 中我们找不到类似的方法,我们尝试使用依赖项但没有奏效,下面是我们的 Marathon.json 文件
有人可以建议吗?