问题标签 [tensorflow-data-validation]

我无法使用 pip 安装 tensorflow-data-validation。当我使用：

pip install tensorflow-data-validation

我收到此错误：

找不到满足要求 tensorflow-data-validation 的版本

TFDV 生成模式作为模式协议缓冲区。但是，似乎没有辅助函数可以向文件写入/读取模式。

如何保存/加载它？

我正在尝试在数据集 (CSV) > 2 Gig 上运行张量流数据验证功能。一段时间后它崩溃了。如果数据集在 1 Gig 左右，它运行得很好。如何在不使用云数据流服务的情况下处理大型数据集。

我试图让 TFDV 使用 RGB 图像作为特征输入，从 TFRecords 文件中读取。我可以很好地将图像数据读/写到 TFRecord 文件中。这是编写的相关代码片段，其中 img 是一个 numpy [32,32,3] 数组：

回读：

然后我可以使用 frombuffer 和 reshape 来恢复我的图像正确性。

问题是当我使用该 TFRecords 文件运行 tfdv.generate_statistics_from_tfrecord() 时。它抛出一个错误：

我已经尝试过使用 astype(unicode) 等各种不同的方式来编写图像，但我无法让它工作。

请问有什么想法吗？

谢谢，保罗

我正在使用 Tensorflow 数据验证从数据中生成统计信息并推断要在 TFX 中输入的模式。

我没有找到任何指定 NaN 值的选项，例如，在 pandas 中有一个字段“na_values”，可以在其中指定读取数据时将被视为 NaN 的值。

我查看了整个 TFDV 文档，但没有找到。

options.StatsOptions() 是用于生成统计信息的选项，例如sample_count、sample_rate 等...

对我来说，读取处理缺失值的数据将数据保存为 Csv 或 TFRecord 并在导入 TFDV 后生成统计信息是没有意义的。

按照基本教程，并尝试为 TFRecord 生成统计信息，我得到一个溢出错误：

数据集是音频示例 (float32) <=17sec 和相关标签。

是否需要做一些不同的事情来处理这些类型的示例？

我查看了 TFX 指南 ( https://www.tensorflow.org/tfx/guide )，并且能够运行管道。StatisticsGen 组件将数据集统计信息写入磁盘上的文件。如何可视化存储在文件中的统计信息？

谢谢

是否有任何版本的 TensorFlow 数据验证 (tfdv) 可以与 tensorflow 2.0 alpha 一起使用？

我想将 TFMA 与 keras 模型一起使用。keras 模型是使用 TF 2.0 alpha 创建的。该模型是一个带有分类层的预训练模型：

up_one_dir方法是将文件复制到模型的根文件夹的实用程序功能。这些文件将由export_eval_savedmodel.

TFX / TFMA 代码使用以下版本：

代码是：

关于预训练模型特征的以下错误被触发：

我的问题是：

1. 可以使用 tfdv - tensorflow-data-validation 提取特征吗？架构实用程序？

2. 可以eval_input_receiver_1_fn将方法替换为使用数据集 API 的方法：

任何帮助/参考表示赞赏。谢谢，埃拉兰

我想在不设置域的情况下启用数值特征漂移。例如：我根据年龄对客户进行评分，在我的训练集中我有一个均匀分布的变量。现在，在我的服务数据中，所有客户都是 50 多岁（域不会捕捉到这种转变）。是否有任何选项来标记需要在 tfdv 重新培训的这种行为？

我尝试给 tfdv 两个分布 N(0,1) 和 N(10,1) 但没有检测到异常。

编辑：漂移仅适用于分类特征。