我的代码如下:
df = spark.read.parquet(output_single_name) \
.write \
.saveAsTable("filtered")
它从映射到驱动器“G:”的 Google Drive 运行。操作系统为 Windows 10。
我收到一个错误:
java.io.IOException:Mkdirs 未能创建文件:/G:/My%20Drive/Colab_Notebooks/Finance/Stock_prediction/download_from_CC/spark-warehouse/filtered/_temporary/0/_temporary/attempt_202110102032126212088686812225137_0001_m_000000_1(存在= /G:/My Drive/Colab_Notebooks/Finance/Stock_prediction/download_from_CC)
保存到正常的本地驱动器工作正常。
据我了解-该错误是由 pyspark 在路径中添加“file:/”引起的。如何预防?