0

我正在尝试使用以下 Scala 代码将 AVRO 文件从 AWS S3 存储桶复制到 HDFS:

val avroDF  = sparkSession.read.format("com.databricks.spark.avro").load("s3a://"+s3Location+"/")
avroDF.write.format("com.databricks.spark.avro").mode(SaveMode.Append).save(filePath)

将文件复制到 HDFS 时,部分文件会像 (part-0001.avro) 一样保存,如何以与 AWS S3 存储桶中存在的文件名相同的文件名保存文件?

4

0 回答 0