amazon-s3 - 在 Glue JOB 中命名 Parquet 文件

Question

如何为 AWS 粘合作业中的镶木地板文件分配预定义名称？

例如，在我的作业运行后，parquet 文件将存储在特定文件夹中，其名称如下：

零件-00000-fc95461f-00da-437a-9396-93c7ea473720.sn​appy.parquet，零件-00000-tc95431f-00ds-437b-9396-93c7ea473720.sn​appy.parquet

我希望文件以预定义或结构化格式存储，例如：

part-00000-12Jan2018.sn​appy.parquet，part-00000-13Jan2018.sn​appy.parquet

等等

Answer 1

由于 spark 工作方式的性质，我们目前无法根据自己的喜好命名文件。另一种方法是在将文件写入 s3/data Lake 后立即重命名文件。我发现这些答案很有帮助。