scala - 如何检查 DateType 列的值是否在指定日期范围内？

Question

所以，我在 Spark 中使用 Amazon Deequ，并且我有一个数据框，其中df有一列publish_date类型为DateType. 我只是想检查以下内容：

publish_date <= current_date(minus)x AND publish_date >= current_date(minus)y

其中x和y是整数。

我不确定在这里放什么支票：

val verificationResult: VerificationResult = { VerificationSuite()
      .onData(df)
      .addCheck(
        Check(CheckLevel.Error, "Review Check")
          //function to check this
      )
      .run()
}

Answer 1

您可以使用此 Spark SQL 表达式：

publish_date <= date_sub(current_date(), x) AND publish_date >= date_sub(current_date(), y)

使用 Check 的满足方法：

val verificationResult: VerificationResult = { VerificationSuite()
      .onData(df)
      .addCheck(
        Check(CheckLevel.Error, "Review Check")
          .satisfies(
            s"publish_date <= date_sub(current_date(), $x) AND publish_date >= date_sub(current_date(), $y)",
            "check constraint name/description"
        )
      )
      .run()
}

或使用between：

publish_date between date_sub(current_date(), y) and date_sub(current_date(), x)