python - 独立配置 pyspark 以由用户运行执行程序

Question

我在使用带有独立集群的 pyspark (Koalas) 编写镶木地板文件时遇到问题。我遇到的错误是java.io.IOException: Could not rename file。

我从这里发现

这是因为驱动程序由用户运行，而执行程序进程由 root 运行，而这些 root 没有权限在用户文件夹中写入文件。

我的临时解决方案是将其保存到此处建议的C:\文件夹中。

但是，我想知道是否有一种方法可以将 pyspark 配置为也由用户运行执行程序，以便我可以在用户文件夹上进行写入。