1

我一直在测试 Tensorflow 数据验证（版本 0.22.0）以在我当前的 ML 管道中使用，我注意到它在数值特征中没有任何异常。例如，

> import pandas as pd  
> import pyarrow 
> import tensorflow as tf 
> import apache_beam as beam 
> import apache_beam.io.iobase 
> import tensorflow_data_validation as tfdv 
> print('TFDV version: {}'.format(tfdv.version.__version__))
> 
> train_df = pd.DataFrame({
>     'FeatA' : ['A'] * 1000,
>     'FeatB' : ['B'] * 1000,
>     'FeatC' : [10] * 1000,
>     'FeatD' : [50.2] * 1000 })
> 
> eval_df = pd.DataFrame({
>     'FeatA' : ['A1'] * 1000,
>     'FeatB' : ['B1'] * 1000,
>     'FeatC' : [4] * 1000,
>     'FeatD' : [200.43] * 1000 })
> 
> train_stats  = tfdv.generate_statistics_from_dataframe(train_df)
> schema = tfdv.infer_schema(statistics = train_stats) 
> eval_stats = tfdv.generate_statistics_from_dataframe(eval_df) 
> anomalies = tfdv.validate_statistics(statistics = eval_stats, schema = schema)
> tfdv.display_anomalies(anomalies)

仅在分类异常的FeatA和FeatB中检测到异常。但是在FeatC和FeatD中，TFDV 没有检测到任何东西。

结果显示在这张图片中

我也尝试过设置偏斜和漂移比较器，但没有任何变化。我想这与自动生成的模式有关，它没有为数字特征映射域。

任何人都知道如何让 TFDV 为数字特征工作？

4

3 回答 3

1

我们需要对数值特征使用 jensen_shannon_divergence 偏斜比较器，对分类特征使用 infinity_norm

tfdv.get_feature(schema_updated,'SALES').skew_comparator.jensen_shannon_divergence.threshold = 0.001

skew_anomalies = tfdv.validate_statistics(statistics=new_dataset_stats, schema=schema, serving_statistics=old_dataset_stats) display_anomalies(skew_anomalies)

于 2021-03-10T05:52:39.570 回答
0

通常，tfdv 不会为数值推断域，您现在有 3 种可能的解决方案：

1-将数据框列的类型更改为 str ，因此它将被视为字节功能。

2- 将 int_domain（FeatD 的 float_domain）添加到您的功能中并确定所需的最小值和最大值

3- 仅对于 int 功能，您可以将 int_domain.is_categorical 设置为 True，然后使用漂移/偏斜比较器。您将能够在 Top k 值中检测到新值。

于 2020-10-08T13:47:10.573 回答
0

正如@durga 所解释的，TFDV 添加了一个新功能，允许我们检测数字特征的偏差。在 skew_comarator 中指定 jensen_shannon_divergence 阈值而不是 infinity_norm 阈值。

例子：

tfdv.get_feature(schema, 'total_actions').skew_comparator.jensen_shannon_divergence.threshold = 0.01

如果要检查最大值和最小值范围，则需要在 Feature中手动设置内联FloatDomain/ 。IntDomain它不是由 infer_schema() 自动生成的：

例子：

tfdv.get_feature(schema, 'total_actions').int_domain.name = 'total_actions'
tfdv.get_feature(schema, 'total_actions').int_domain.min = 0
tfdv.get_feature(schema, 'total_actions').int_domain.max = 1400
于 2021-09-08T21:56:18.893 回答