问题标签 [dcos]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 依赖没有分发到 Spark 集群
我正在尝试在依赖spark-cassandra-connector库的 Mesos 集群上执行 Spark 作业，但它一直失败
据我了解火花文档
JAR 和文件被复制到执行程序节点上每个 SparkContext 的工作目录。... 用户还可以通过使用 --packages 提供逗号分隔的 maven 坐标列表来包含任何其他依赖项。
但似乎只pucker-assembly-1.0.jar分发了任务 jar。
我正在使用 scala 2.10.6 运行 spark 1.6.1。这是spark-submit我正在执行的命令：
那么为什么spark-cassandra-connector不分发给我所有的火花执行器呢？
mesos - 不同角色的 Mesos DCOS Spark
我使用以下 json 配置在 Mesosphere 上安装了 Spark 服务。我希望 Spark 将使用角色 slave_public。
dcos 包安装 --options=my-spark.json 火花
但是我在 /var/log/message 中看到角色 * 正在被使用并且报价被拒绝。Marathon UI 显示处于“等待”状态的框架。
是否可以覆盖默认角色？
scala - 从文件系统读取文本文件时，Spark 仍然尝试连接到 HDFS
我刚刚创建了一个 DC/OS 集群，并试图运行从/mnt/mesos/sandbox.
我正在使用
不幸的是，任务不断失败，并出现以下异常
尽管文件类型已明确设置为，为什么 Spark 仍试图连接到 HDFS file://？
我认为这sc.textFile("file:///")不需要 HDFS 设置。
azure - Azure 容器服务上的马拉松 - 无法扩展到所有节点
我已经使用 Azure 容器服务设置了一个 VM 集群。容器编排器是 DC/OS。有 3 个主节点和 3 个从代理。
我有一个 Docker 应用程序，我正在尝试使用 Marathon 在我的集群上启动它。每次启动时，我注意到 3 个节点的 CPU 利用率始终为 0，即应用程序从未在它们上调度。另一方面，其他 3 个节点的 CPU 利用率几乎为 100%。（当我扩展应用程序时。）此时，扩展停止，Marathon 显示状态“等待”来自 Mesos 的资源广告。
我不明白为什么 Marathon 没有调度更多容器，尽管在我尝试扩展应用程序时有空节点。
我知道 Marathon 在主节点上运行；它不知道奴隶代理人的存在吗？（假设 3 个空闲节点是从节点。）
这是应用程序的配置文件：pastebin-config-file
如何充分利用 Marathon 的机器？
python - dcos 客户端安装失败 - import concurrent.futures ImportError: No module named concurrent.futures
我刚刚在lab环境中完成了dcos环境的安装，当我尝试在centos7 linux机器上安装dcos客户端时，我得到了
我查看了谷歌并发现我们的类似案例修复了运行“pip install futures”但即使在安装后安装仍然失败
[root@rmavmdock5 bin]# pip install features
[root@rmavmdock5 bin]# pip install --upgrade features
点子版本
逐行检查安装脚本我发现dcos客户端安装过程在安装脚本尝试运行时报告了这些错误
但整个过程运行良好，直到使用命令配置 dcos 二进制文件
，此命令是使 dcos 命令可用的命令，并且似乎由于任何原因无法正常工作
我使用 -v 选项运行了相同的命令（输出很大，不知道如何附加文件），但命令结束
docker - HAProxy 与 docker、consul 和 mesos，该选择哪一个？
在使用 docker 进行容器编排、使用 consul 进行服务发现和使用 mesos 进行容器调度的微服务堆栈中，用户面临的两个服务（带有 GUI）需要配置 HAProxy 以实现负载平衡。
问题是，它们应该在哪个级别进行负载平衡。有一些支持每个用例的 LB 实现。dockercloud-haproxy, fabio with consul 和 marathon-lb 如果 DC/OS 已经到位。
选择标准是什么？
azure - Mesos 的高可用性集群
在 Azure 上使用 DC/OS 并部署容器时，我如何保证如果我启动 2 个实例，它们位于不同的物理机器上（前提是我至少有 2 个代理）。
mesos - 如何在 Mesos 集群中的所有节点上设置环境变量？
我正在尝试在我们的 DCOS/Mesos 集群上设置一些环境变量——最简单的方法是什么？
mesos - 在 AWS 上的 DC/OS 中使用自定义 Mesos 角色
我正在尝试在 AWS 上设置具有不同资源角色的 DC/OS（我不希望为其他事物使用的 Apache Cassandra 保留节点）。我理论上知道如何在我手动设置的普通 Mesos 中做到这一点（https://support.mesosphere.com/hc/en-us/articles/206474745-How-to-reserve-resources-for-certain- frameworks-in-Mesos-cluster-），但我不知道如何在 DC/OS 云安装中执行此操作。任何意见是极大的赞赏。
apache-spark - mesos/dcos 上的 Spark web ui
我们在 mesos/dcos 集群上设置了 spark。
我可以在http://my_mesos_cluster/service/spark/看到我正在运行的 spark 流作业，但是我没有找到获取 web ui 的方法，当我在本地运行 spark (localhost:4040)
我需要它，以查看有关批处理中进行了多少事件等的信息。
mesos/dcos 集群上的“spark web ui”网址是什么？或者我必须做什么才能启用 web ui？
问候， 马库斯