我想将 spark.task.maxFailures 设置为大于 4 的值。使用 Databricks 6.4 运行时，如何设置此值？
当我执行 spark.conf.get("spark.task.maxFailures") 时，出现以下错误
java.util.NoSuchElementException: spark.task.maxFailures
以前有人在数据块上设置过这个吗？
我知道我可以使用
spark.conf.set("spark.task.maxFailures", 10)
但是不确定是否必须在集群启动时设置或之后设置？
