我在一个 great_expectations 集成问题上苦苦挣扎。
我显然使用RunGreatExpectationsValidation任务:
validation_task = RunGreatExpectationsValidation()
with Flow(
"GE_pull_and_run",
) as GE_pull_and_run_flow:
.......
validation_task(
context_root_dir=root_dir,
checkpoint_name=expectation_checkpoint_name
)
当我在 GE (great_expectations --V3-api checkpoint run my_checkpoint) 上运行命令时,它可以工作,但是在完美任务中,我有一个例外:使用 GE V3 api:
.....
File "c:\Users\vincent2\DK\prefect.data.pipeline\venv\lib\site-
packages\prefect\tasks\great_expectations\checkpoints.py", line 246, in run
for batch in ge_checkpoint["batches"]:
TypeError: 'Checkpoint' object is not subscriptable
与 GE V2 api 相同
...
for batch in ge_checkpoint["batches"]:
TypeError: 'LegacyCheckpoint' object is not subscriptable
Great_expectations=0.13.43 (也尝试使用 0.12.10 版本) prefect
=0.15.9
有人体验过这个 pb 吗?谢谢