json - TypeError: ufunc 'add' 不包含签名匹配类型 dtype(' 我对管道测试寄予厚望。 我有一个类型的数据框批次：- great_expectations.dataset.pandas_dataset.PandasDataset 我想建立动态验证表达式。 即

Question

我对管道测试寄予厚望。

我有一个类型的数据框批次：- great_expectations.dataset.pandas_dataset.PandasDataset

我想建立动态验证表达式。

即 batch.("columnname","value") 其中validationtype columname 和value 来自json 文件。

JSON结构：-

{
            "column_name": "sex",
            "validation_type": "expect_column_values_to_be_in_set",
            "validation_value": ["MALE","FEMALE"]
        },

当我构建此表达式时，会收到如下所述的错误消息。

代码：-

def add_validation(self,batch,validation_list):
             for d in validation_list:
                 expression = "." + d["validation_type"] + "(" + d["column_name"] + "," + 
                             str(d["validation_value"]) + ")"
                 print(expression)
                 batch+expression
                 batch.save_expectation_suite(discard_failed_expectations=False)
                 return batch

输出：-

print statement output
.expect_column_values_to_be_in_set(sex,['MALE','FEMALE'])

错误：-

TypeError: ufunc 'add' 不包含签名匹配类型 dtype('

Answer 1

在 great_expectations 中，该expectation_suite对象旨在捕获评估期望所需的所有信息。因此，在您的情况下，最自然的做法是将您拥有的源 json 文件转换为 great_expectations 期望套件格式。

做到这一点的最佳方法将取决于您从何处获得原始 JSON 结构——理想情况下，您希望尽早进行翻译（甚至在创建源 JSON 之前？）并保持期望GE 格式。

例如，如果您的所有期望都是 type expect_column_values_to_be_in_set，您可以进行直接翻译：

expectations = []
for d in validation_list:
  expectation_config = {
    "expectation_type": d["validation_type"],
    "kwargs": {
      "column": d["column_name"],
      "value_set": d["validation_value"]
    }
  }
expectation_suite = {
  "expectation_suite_name": "my_suite",
  "expectations": expectations
}

另一方面，如果您正在处理各种不同的期望，您还需要确保 JSON 中的 validation_value 映射到期望的正确 kwargs（例如，如果expect_column_values_to_be_between您确实需要提供min_value和/或max_value）。