问题标签 [tensorflow-data-validation]

我一直在尝试找到两个数据集（比如“年龄”列）之间 JS 差异的正确值。现在，应该从 scipy 给 JS 函数输入什么？

年龄列原样或年龄列的pdf？

我是 MS Excel 和学习的新手。我有一个用于预算管理（项目）的 Excel 文件。我想要做的是当从下拉列表（数据验证）中选择一个项目时，另一个单元格应该显示与数据验证单元格相邻的数量。例如：

C 列具有以下项目的数据验证：（食品、实用程序、其他）。我想要的是当我在 C 列中选择食物时，它应该从相邻 A 列中获取值并将其放入另一个单元格中，以获取总食物和总实用程序。

我不知道我是否使用了错误的工具（数据验证）。请指教。

我正在编写一个 JavaScript 库来验证存储在平面文件中的数据。它将测试列表（以文本形式存储在数据库中的可重用 JavaScript 代码）和数据文件的记录作为数组。此处显示的当前代码正在尝试将存储为文本的测试脚本 (JS) 转换为 JavaScript 函数；将这些函数附加到当前对象并执行它。存储的测试脚本（以文本形式）使用 JavaScript 库中的函数（调用它们）。这些函数只有在使用this关键字调用且合理的情况下才能访问。但是，会有很多库函数，我不希望测试测试脚本编写者在库函数前面加上this.

无论如何我可以在当前结构中解决这个问题吗？有关可能有助于实现这一目标的其他设计模式或架构的任何建议。

目前generate_statistics_from_tfrecord在 Dataflow 中运行时，我发现它导致了这个异常：

我们有其他数据集没有这个问题，所以我假设我们的一个特征有一些坏数据。哪些类型的格式错误的数据会导致此问题？

谢谢你的帮助！

我需要创建一个按钮来运行我的所有数据验证列表。大多数单元格都有一个数据验证下拉列表。我需要用户从每个下拉列表中选择一个项目，当单击该按钮时，它应该运行该人所做的所有选择。

在大查询中验证数据的最佳方法是什么？Big Query 将机器学习支持到其 sql 中是一种解决方案。另一种解决方案是使用 tensorflow-data-validation。

我们希望使用 gcp 工具来帮助加快我们向 gcp 的迁移，并帮助处理未来正在进行的数据管道。

由于我正在从 pandas DataFrames 转移到 TensorFlow 数据集，因此在数据探索和验证方面，我想使用tensorflow-data-validation而不是更传统的。pandas-profiling

但是，pip install tensorflow-data-validation给出以下错误：

可能是什么问题呢？这个旧的 GitHub 问题解释了这可能是由于 Python 版本造成的，但是 Apache Beam（tensorflow-data-validation可能依赖于它）现在与 Python 3 完全兼容，所以它一定是别的东西。

我的环境如下：

• 蟒蛇 3.9.2
• TensorFlow 2.6.0
• Debian GNU/Linux 11（靶心）
• 点 21.3

有没有人能够在 Jetson AGX 或具有 AArch64 架构的类似设备上安装 TFDV？我尝试过使用 PyPI 安装、使用 Docker 构建以及从源代码构建，但没有成功。我开始认为它可能不受支持，如果有人可以证实这一点。

Tensorflow 数据验证提供了一种查找数据异常的方法。

但是，我只能找到一种方法来提供异常的总结版本（通过使用tfdv.validate_statisticsand tfdv.display_anomalies）。

是否有一些参数的功能可以传递它而不是报告摘要，它返回具有异常的行和什么异常类型？

按照下面的例子：

有没有办法利用 TFDV 返回类似的东西：

如果没有，您会推荐什么替代方案？

我想根据训练数据的 pandas 数据框推断具有 tensorflow 数据验证 (tfdv) 的模式。数据框包含具有多价特征的列，其中可以同时存在该特征的多个值（或无）。

给定以下数据框：

推断和显示模式会导致：

因此，tfdv 将 'feat_2' 值视为单个字符串，而不是在 ',' 处拆分它们以生成 'AA'、'BB' 的域：

如果将特征的值保存为 eg, ['AA', 'BB']，则模式推断会引发错误：

ArrowTypeError: ("Expected bytes, got a 'list' object", 'Conversion failed for column feat_2 with type object')

有什么办法可以用 tfdv 实现这一点？