0

我的代码如下:

df = spark.read.parquet(output_single_name) \
  .write \
  .saveAsTable("filtered")

它从映射到驱动器“G:”的 Google Drive 运行。操作系统为 Windows 10。

我收到一个错误:

java.io.IOException:Mkdirs 未能创建文件:/G:/My%20Drive/Colab_Notebooks/Finance/Stock_prediction/download_from_CC/spark-warehouse/filtered/_temporary/0/_temporary/attempt_202110102032126212088686812225137_0001_m_000000_1(存在= /G:/My Drive/Colab_Notebooks/Finance/Stock_prediction/download_from_CC)

保存到正常的本地驱动器工作正常。

据我了解-该错误是由 pyspark 在路径中添加“file:/”引起的。如何预防?

4

0 回答 0