apache-spark - 如何更改通过 Spark 编写的文件的 ZSTD 压缩级别？

Question

在 Spark 文档中声明默认的 zstd 压缩级别为 1。https://spark.apache.org/docs/latest/configuration.html

我在spark-defaults.conf中将此属性设置为不同的值，

在代码里面

val conf = new SparkConf(false)
conf.set("spark.io.compression.zstd.level", "22")
val spark = SparkSession.builder.config(conf).getOrCreate()
..

使用 zstd 压缩多次读取相同的输入并以 parquet 格式保存/写入它根本不会改变输出文件的大小。如何在 Spark 中调整此压缩级别？