0

我在集群的每个节点上安装了 pre_built 版本的 spark，（只需下载然后解压缩）

问题一：

我是否必须将文件 slaves.template 和 spark-env.sh.template 复制到 conf 目录中，然后编辑它们以将我的机器相互连接？如果是的话，我怎么能只通过命令来做到这一点

问题2：

我在一台远程机器上吃了一顿主人（当我想从我的本地机器上访问 spark web UI 时，使用

 http://IPofRemoteMachine:8080

IP_address:8080 or   IP_address:4040

我的浏览器上没有显示任何内容，为什么以及我缺少什么？

问题3：

如果我的集群上有 6 个节点，并且例如我只想使用 4 个节点，我是否必须与主节点共进午餐，然后仅在我想使用的节点中使用午餐工作者？

4

1 回答 1

1

答案 1：

您需要通过从它们中删除 .template 作为从属和 spark-env.sh 来重命名文件。

假设有两台机器 10.1.1.11(A) 和 10.1.1.12(B) 并且您想在机器 A 上运行 spark master 并在 A 和 B 上运行 worker，那么在从属服务器中，您应该编写 worker 将在其上运行的所有 IP：

样本奴隶文件

10.1.1.11
10.1.1.12

示例 spark-env.sh 文件

export SPARK_MASTER_MEMORY=1024M
export SPARK_DRIVER_MEMORY=1024M
export SPARK_WORKER_INSTANCES=1
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_WORKER_MEMORY=1024M
export SPARK_EXECUTOR_MEMORY=1024M
export SPARK_WORKER_CORES=2
export SPARK_EXECUTOR_CORES=2
export SPARK_MASTER_IP=10.1.1.11
export SPARK_MASTER_WEBUI_PORT=8081

您可以在此处使用更多选项配置 spark-env.sh（只是一个脚本文件）

答案 2：

您可以通过编辑 spark-env.sh 来更改您的 Spark Web UI 端口以包含SPARK_MASTER_WEBUI_PORT=8081

然后您可以在 10.1.1.11:8081 上访问 spark web ui。

如果您收到无法解析主机名 ，请在此处查看我的答案。

答案 3：

您可以在 slaves 文件中更改将在其上运行 worker 的节点。

于 2016-08-29T19:51:25.007 回答