python - 如何在 PYSPARK_SUBMIT_ARGS 中添加多个环境

Question

当我在同一个文件中第二次使用 os.environ["PYSPARK_SUBMIT_ARGS"] 时出现问题。如果我将 os.environ["PYSPARK_SUBMIT_ARGS"] 分开并单独运行，它可以工作。有没有办法将它们全部结合起来？这些是我的 os.environ["PYSPARK_SUBMIT_ARGS"]

1. os.environ['PYSPARK_SUBMIT_ARGS'] = '--conf "spark.hadoop.io.compression.codecs=io.projectglow.sql.util.BGZFCodec" --name "PySparkShell" --packages "io.projectglow:glow- spark3_2.12:0.6.0" pyspark-shell'

2. os.environ['PYSPARK_SUBMIT_ARGS'] = '--conf "spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions" --name "PySparkShell" --packages "com.datastax.spark:spark-cassandra- connector_2.12:3.0.0" pyspark-shell'