scala - 如何在 Deequ ColumnProfileRunner 中过滤具有列约束的行？

Question

我是 Scala 和 Spark 的新手。我正在探索用于数据分析的 Amazon Deequ 库。

使用 ColumnProfilerRunner() 时如何获取具有特定值的行数？

AnalysisRunner 有一个“合规性”选项我正在寻找一个类似的选项来过滤符合给定列约束的行。

我有多个列，因此我想动态检查而不是使用列名。

感谢任何帮助。

谢谢

Answer 1

Deequ 的列分析器计算一组固定的统计数据。如果要计算数据的自定义统计信息，则应使用 VerificationSuite。查看 deequ 的 github 页面上的示例。