问题标签 [dcos]

DC/OS 可以在离线环境中运行吗？

在我的离线环境中成功安装后，登录网页屏幕不会打开并显示以下消息：

The server refused the connection.

任何人都知道如何在通过 DCOS Web 界面安装包本身之后安装包 cli 命令，例如“dcos spark”？谢谢。

DC/OS 不运行confluent 2.0的 Schema-registry 和 Rest-Proxy 组件。我已经apache-kafka通过 Marathon 启动了包含 DC/OS 1.7 中的包的 Confluent 2，另请参阅Marathon app spec。据我了解，Marathon通过脚本kafka-scheduler.jar从kafka-scheduler.zip（参见 Marathon 应用规范）运行。我没有找到任何可以指定要运行的组件或kafka-scheduler.jar.

我正在尝试在 AWS 上的 DC/OS 上的 Spark 中运行批处理。对于每个批处理，我在执行 spark 提交时发送了一些特定参数（例如，哪些用户执行批处理）。

我在 DC/OS 上有一个 Spark 集群，有一个主节点和 3 个私有节点。

我创建了一个application.conf文件并将其上传到 S3，并启用了访问该文件的权限。

我的 spark 提交命令如下所示：

dcos spark run --submit-args='-Dspark.mesos.coarse=true --driver-class-path https://path_to_the_folder_root_where_is_the_file --conf spark.driver.extraJavaOptions=-Dconfig.file=application.conf --conf spark.executor.extraJavaOptions=-Dconfig.file=application.conf --class class_name jar_location_on_S3'

我得到了 job.properties 文件未找到的错误：

线程“主”com.typesafe.config.ConfigException$Missing 中的异常：在 com.typesafe 的 com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124) 中找不到键“wattio-batch”的配置设置.config.impl.SimpleConfig.find(SimpleConfig.java:145) 在 com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159) 在 com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java :164) 在 com.typesafe.config.impl.SimpleConfig.getObject(SimpleConfig.java:218) 在 com.typesafe.config.impl.SimpleConfig.getConfig(SimpleConfig.java:224) 在 com.typesafe.config.impl。 SimpleConfig.getConfig(SimpleConfig.java:33) 在 com.enerbyte.spark.jobs.wattiobatch.WattioBatchJob$.main(WattioBatchJob.scala:31) 在 com.enerbyte.spark.jobs.wattiobatch.WattioBatchJob.main(WattioBatchJob.scala) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect .Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:786) at org.apache.spark.deploy .SparkSubmit$.doRunMain$1(SparkSubmit.scala:183) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:208) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala :123) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit $.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:786) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:183) at org.apache.spark.deploy .SparkSubmit$.submit(SparkSubmit.scala:208) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:123) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit $.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:786) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:183) at org.apache.spark.deploy .SparkSubmit$.submit(SparkSubmit.scala:208) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:123) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:786) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:183) at org.apache.spark.deploy.SparkSubmit $.submit(SparkSubmit.scala:208) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:123) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:786) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:183) at org.apache.spark.deploy.SparkSubmit $.submit(SparkSubmit.scala:208) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:123) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

如何正确设置？虽然其中一个私有从站执行驱动程序，但它是否可以访问 Internet（是否可以进入 S3 并下载 conf 文件）？

谢谢

在我的 DC/OS 集群中重新启动我的 3 个主节点后，DC/OS 仪表板显示 0 个连接的节点。但是，从 DC/OS cli 中，我看到了所有 6 个代理节点：

我仍然可以从 dcos cli 和 Marathon gui 安排 Marathon 中的任务，然后在代理上正确安排和执行它们。此外，从 :5050 上的 mesos 界面，我可以看到从属页面中的所有代理。

我已经重新启动了代理节点和主节点。我还重新运行了 DC/OS GUI 安装程序并运行了预检检查，这当然会因“已安装”错误而失败。

除了卸载/重新安装节点之外，有没有办法使用 DC/OS GUI 重新注册节点？

我在 DCOS 中有 spark-notebook 设置。超光速粒子是生态系统的一部分。但我找不到任何关于安装 Tachyon 的 DCOS 方式说明。我可以从头开始安装它，但似乎有一些符合 DCOS 的方法来安装/注册服务？

谢谢。Ĵ

我有一个在 AWS 上的 DC/OS 上运行的流式作业。当我第一次运行该作业并将检查点文件夹指定为 AWS S3 时，一切顺利。

在我停止它并重新启动它之后，我希望流式传输能够从检查点恢复，但我收到以下错误：

错误 SparkContext：初始化 SparkContext 时出错。java.lang.Exception：spark.executor.extraJavaOptions 不允许设置 Spark 选项（原为'-Dspark.mesos.executor.docker.image=mesosphere/spark:1.0.0-1.6.1-2'）。使用 ./bin/spark-submit 时，直接在 SparkConf 或属性文件中设置它们。

我使用https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/RecoverableNetworkWordCount.scala中的示例设置了可恢复的流，

并连接到 S3 以进行检查：Spark Streaming checkpoint to amazon s3

问题似乎是，当从检查点文件重新创建火花上下文时，它会尝试更改spark.mesos.executor.docker.image属性，但我根本没有设置它。

我的 spark 配置非常简单，如下所示：

有没有人遇到过类似的问题。

已编辑

我尝试以所有这些方式设置 spark conf：

但出现同样的错误。

已编辑 2

我已经在我的本地开发机器（我们自己安装的 SMACK 堆栈）上测试了相同的 AWS S3 检查点配置，并且流媒体可以正确恢复。这意味着 DCOS 火花参数和属性存在错误。

我还提交了 JIRA 问题：https ://dcosjira.atlassian.net/browse/DCOS-131

我正在尝试安装 DC/OS，但在本地遇到问题

以下是错误日志

正如错误日志中所建议的，我们查看了“systemctl status dcos-setup.service”和“journalctl -xe”，但无法确定实际原因

非常感谢您的帮助！！！...谢谢

我必须将 HDP 与 Mesos 集成。我不想用 cloudbreak 来做，因为它不是一个成熟的项目。有没有其他方法可以将 HDP 与 Mesos 集成？

关于 Spark、Spark Jobserver 和 Mesosphere 的 DC/OS，我显然有很多不明白的地方。但我非常喜欢 Jobserver 项目，也非常喜欢我们的 DC/OS 集群，真的很想让它们一起运行。

像这个例子一样，将 Docker 容器扔到马拉松文件中是行不通的。我想这可能是因为我不知道要传递什么 SPARK_MASTER url（我仍然不知道，任何帮助将不胜感激），但后来我尝试从马拉松文件中删除它，它应该仍然运行本地模式下的项目，这也不起作用。这让我意识到，除了不知道如何将这个作业服务器连接到我的 DCOS spark 调度程序之外，我也不知道为什么这个 Docker 容器会在集群上失败，但不会在我的本地机器上失败，即使它没有通过任何论据。

我的日志没有显示太多，并且 Docker 容器在 stdout 中的以下内容之后以 137 状态退出：

其中，当我在本地运行时，它是在它继续将 log4j 运行到我的标准输出并告诉我作业服务器正在启动之前的最后一个日志。我在标准错误中看到以下内容：

这似乎表明 server_start.sh 正在从 spark jobserver docker 运行，并且该脚本由于某种原因而死了？

我一直剥离我的马拉松文件，这仍然给我同样的错误：

任何帮助将不胜感激。