0

我需要你的帮助，我创建了 2 个应用程序（一个使用喷雾框架，另一个从 kafka 接收消息并将其发送到 cassandra）。两者都一直在运行，并且永远不应停止。我在服务器上独立，我的 conf 是：

- In spark_env.sh :

SPARK_MASTER_IP=MYIP
SPARK_EXECUTOR_CORES=2
SPARK_MASTER_PORT=7077
SPARK_EXECUTOR_MEMORY=4g
#SPARK_WORKER_PORT=65000
MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
SPARK_LOCAL_IP=MYIP
SPARK_MASTER_WEBUI_PORT=8080

- In spark_env.sh :
spark.master                     spark://MYIPMASTER:7077
spark.eventLog.enabled           true
spark.eventLog.dir               /opt/spark-1.6.1-bin-hadoop2.6/spark-events
spark.history.fs.logDirectory    /opt/spark-1.6.1-bin-hadoop2.6/logs
spark.io.compression.codec       lzf
spark.cassandra.connection.host MYIPMASTER
spark.cassandra.auth.username   LOGIN
spark.cassandra.auth.password   PASSWORD

我可以在两个页面上访问：MYIP:8080/ 和 MYIP:4040/ 但是在http://MYIP:8080/上，我只看到我的工人，我看不到我正在运行的应用程序。

当我提交我使用这个：

/opt/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class MYCLASS --verbose --conf spark.eventLog.enable=true --conf spark.master.ui.port=8080 --master local[2] /opt/spark-1.6.1-bin-hadoop2.6/jars/MYJAR.jar

为什么 ？你可以帮帮我吗？

非常感谢 ：）

4

3 回答 3

2

在您的 spark-submit 命令中，您使用--masteraslocal[2]以本地模式提交应用程序。如果您想在您正在运行的独立集群上运行它，那么您应该在 master 选项中传递 spark master URL，即--master spark://MYIPMASTER:7077

于 2016-09-13T16:15:12.327 回答
0

对于 master 来说，spark-submit 将按照以下命令尊重设置，

  1. 应用程序代码中的主 URL，即 SparkSession.builder().master("...")
  2. --masterspark-submit 命令的参数
  3. 你的默认配置spark-defaults.conf
于 2020-04-11T01:08:37.947 回答
0

模式：独立集群

1> bin/spark-submit --class com.deepak.spark.App ../spark-0.0.2-SNAPSHOT.jar --master spark://172.29.44.63:7077，因为 master 是在之后指定的，所以不起作用罐子

2> bin/spark-submit --class com.deepak.spark.App --master spark://172.29.44.63:7077 ../spark-0.0.2-SNAPSHOT.jar，这行得通

于 2020-06-04T12:36:09.460 回答