scala - 使用 scala 将镶木地板数据写入 S3 上的文件

Question

有没有一种方法可以使用 scala 在 S3 上快速稳定地写入镶木地板数据？

Answer 1

是的 - 使用 Spark 一旦你手头有一个数据框，你就可以使用df.write.parquet("s3a://newfilename")

Answer 2

如果您愿意，您可以从独立安装中远程使用 s3a，但由于性能问题，我建议您不要将其用作工作的直接目的地。最好在本地输出然后复制到那里（hadoop distcp 这样做）。