1

我有一个在 AWS 上运行的 Mesos DCOS 集群，通过dcos package install spark命令安装了 Spark。我能够使用 DCOS CLI 成功执行 Spark 作业：dcos spark run ...

现在我想从在 Mesos 集群内运行的 Docker 容器执行 Spark 作业，但我不太确定如何访问正在运行的 spark 实例。想法是让 docker 容器执行spark-submit命令以将作业提交到 Spark 部署，而不是使用 DCOS CLI 从集群外部执行相同的作业。

当前文档似乎只关注通过 DCOS CLI 运行 Spark - 有没有办法从集群内运行的另一个应用程序访问 spark 部署？

4

1 回答 1

1

DCOS IOT 演示尝试类似的东西。https://github.com/amollenkopf/dcos-iot-demo

这些人在马拉松应用程序中运行 spark docker 和 spark-submit。检查这个马拉松描述符：https ://github.com/amollenkopf/dcos-iot-demo/blob/master/spatiotemporal-esri-analytics/rat01.json

于 2016-09-15T15:10:50.427 回答