apache-spark - 如何在 dataproc 提交命令中传递环境变量？

Question

我希望能够在通过 dataproc submit 提交作业时设置以下环境变量：

1. SPARK_HOME
2. PYSPARK_PYTHON
3. SPARK_CONF_DIR
4. HADOOP_CONF_DIR

我怎样才能做到这一点？

Answer 1

查看文档在 Dataproc 集群节点上设置环境变量，了解如何为 Dataproc 中的不同组件设置环境变量。