amazon-web-services - 如何将 aws 胶水脚本编写的输出文件重命名为 s3 位置？使用 pyspark

Question

我正在寻找使用 pyspark 中的 aws 胶水重命名写入 s3 的输出文件。

如果在胶水作业运行后有一个代码可以引用 s3 中的重命名文件，那将非常有帮助

Answer 1

不幸的是，这是不可能的。Glue 在后台使用 Spark，它将这些名称分配给您的文件。

您唯一可以做的就是在写入后重命名它。