apache-spark - Spark 每周一开始

Question

这是我的数据集：

from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()

df = spark.createDataFrame([('2021-02-07',),('2021-02-08',)], ['date']) \
    .select(
        F.col('date').cast('date'),
        F.date_format('date', 'EEEE').alias('weekday'),
        F.dayofweek('date').alias('weekday_number')
    )
df.show()
#+----------+-------+--------------+
#|      date|weekday|weekday_number|
#+----------+-------+--------------+
#|2021-02-07| Sunday|             1|
#|2021-02-08| Monday|             2|
#+----------+-------+--------------+

dayofweek返回从星期日开始的工作日数字。
如何从星期一而不是星期日开始返回工作日数字？IE

+----------+-------+--------------+
|      date|weekday|weekday_number|
+----------+-------+--------------+
|2021-02-07| Sunday|             7|
|2021-02-08| Monday|             1|
+----------+-------+--------------+

Answer 1

你可以试试这个：

date_format(col("date"), "u")).alias('weekday_number')

出于某种原因，它不在Spark 的格式化日期时间模式文档中

您可能还需要添加此配置行：
spark.conf.set('spark.sql.legacy.timeParserPolicy', 'LEGACY')

感谢您的反馈，非常乐意提供帮助 =)

Answer 2

可以重新计算结果dayofweek：

from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()

df = spark.createDataFrame([('2021-02-07',),('2021-02-08',)], ['date']) \
    .select(
        F.col('date').cast('date'),
        F.date_format('date', 'EEEE').alias('weekday'),
        ((F.dayofweek('date') + 5) % 7 + 1).alias('weekday_number'),
    )
df.show()
#+----------+-------+--------------+
#|      date|weekday|weekday_number|
#+----------+-------+--------------+
#|2021-02-07| Sunday|             7|
#|2021-02-08| Monday|             1|
#+----------+-------+--------------+