great-expectations - 对流数据使用很高的期望

Question

我对测试流数据抱有很高的期望（我将样本收集到一个批次中并测试该批次）。问题是我不能使用文档，因为这将导致生成 1000 个 html 页面中的 100 个。我想做的是在点击特定测试结果时（通过索引页面）使用我的api生成从json结果请求的页面。巨大的期望是否只能生成 1 个可以在关闭时处理的 html？

Answer 1

如果您使用的是 ValidationOperator / Checkpoint，则使用该UpdateDataDocsAction操作仅支持构建在该运行中验证的资源，并且是推荐的方法。

如果您直接与 DataContext API 交互，则 DataContextbuild_data_docs上的方法支持资源标识符选项，您可以使用该选项来请求仅构建单个资产。我认为要获得您正在寻找的行为（该页面的真正短暂构建），您需要将其与临时位置的站点配置配对，例如 /tmp。

build_data_docs 方法的文档在这里： https ://docs.greatexpectations.io/en/latest/autoapi/great_expectations/data_context/data_context/index.html#great_expectations.data_context.data_context.BaseDataContext.build_data_docs

请注意，resource_identifiers 参数需要一个 ValidationResultIdentifier 对象，例如：

context.build_data_docs("local_site", resource_identifiers=[ValidationResultIdentifier(
    run_id="20201203T182816.362147Z",
    expectation_suite_identifier=ExpectationSuiteIdentifier("foo"),
    batch_identifier="b739515cf1c461d67b4e56d27f3bfd02",
)])