apache-spark - 如果我在更改 spark-env.sh 或 spark-defaults 后在 yarn 上运行 spark，是否需要重新启动节点？

Question

我正在努力更改 spark 的 conf，以限制我的 spark 结构化流日志文件的日志。我已经想到了这样做的属性，但它现在不起作用。我需要重新启动所有节点（名称和工作节点）还是重新启动作业就足够了。我们正在使用 google dataproc 集群并使用 yarn 运行 spark。

Answer 1

最简单的方法是在集群创建期间使用Dataproc Cluster Properties设置这些属性：

gcloud dataproc clusters create $CLUSTER_NAME \
  --properties spark:<key>=<value>,yarn:<key>=<value>

或者在提交 Spark 应用程序时设置它们。