我正在通过独立集群部署 spark 应用程序。我有一个主人和两个奴隶。
我正在测试我的集群。我在同一个位置到处都复制了应用程序 .jar。
我观察到以下问题：
在大师
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
线程“主”java.net.BindException 中的异常：无法分配请求的地址：服务“驱动程序”在 16 次重试后失败！考虑将服务“驱动程序”的适当端口（例如 SparkUI 的 spark.ui.port）显式设置为可用端口或增加 spark.port.maxRetries。
在slave1上
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
作业执行
在slave2上
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
作业执行
但是我在奴隶上提交了多个作业，只有第一个作业执行。
在大师
bin/spark-submit ******.jar --class ******
作业执行占用两个从属设备上的全部资源，并且不考虑剩余的参数
但是，如果我将 jar 放在命令末尾，则会发生上述前 3 种情况。
我已经 在 AWS ec2 实例上使用http://spark.praveendeshmane.co.in/spark/spark-1-6-1-cluster-mode-installation-on-ubuntu-14-04.jsp完成了集群配置。
我想同时执行多个作业。