0

我正在尝试以增量方式收集我的指标。看起来 Deequ 可以做到这一点,如此处所示。但是,我在 PyDeequ 中找不到类似的东西。我正在尝试使用 saveOrAppendResult 功能,但这总是会覆盖我以前的结果。请问有人有这方面的经验吗?提前致谢。

AnalysisRunner(spark) \
.onData(df) \
.addAnalyzer(Size()) \
.addAnalyzer(Uniqueness(["some_id"])) \
.useRepository(repository) \
.saveOrAppendResult(resultKey) \
.run()
4

0 回答 0