我在 HDFS 中有一个目录,其中包含 avro 文件。当我尝试用数据框覆盖目录时,它失败了。语法:avroData_df.write.mode(SaveMode.Overwrite).format("com.databricks.spark.avro").save("") 错误是: Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path不存在:hdfs://nameservice1//part-r-00000-bca9a5b6-5e12-45c1-a877-b0f6d6cc8cd3.avro
在覆盖时,它似乎也在考虑 avro 文件。
我们可以使用 Spark 1.6 来做到这一点吗?