apache-spark - 如何将日期时间列转换为每月的第一天？

Question

我有一个 PySpark 数据框，其列的日期时间值格式为 '09/19/2020 09:27:18 AM' 我想以这种格式转换为 2020 年 11 月 1 日的第一天。我已经尝试过"date_col", F.trunc("date_col", "month")导致null日期和

df_result = df_result.withColumn('gl_date', F.udf(lambda d: datetime.datetime.strptime(d, '%MM/%dd/%yyyy %HH:%mm:%S a').strftime('%Y/%m/1'), t.StringType())(F.col('date_col')))

第二种方法我尝试了日期格式错误 '%MM/%dd/%yyyy %HH:%mm:%S a' 与 '09/19/2020 09:27:18 AM' 不匹配

Answer 1

您可以在调用之前将该列转换为时间戳类型trunc：

import pyspark.sql.functions as F

df_result2 = df_result.withColumn(
    'gl_date',
    F.date_format(
        F.trunc(
            F.to_timestamp("date_col", "MM/dd/yyyy hh:mm:ss a"),
            "month"
        ),
        "dd-MMM-yyyy"   
    )
)