问题标签 [tensorflow-extended]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
327 浏览

tensorflow - TFX Tensorflow 模型验证器组件 - 您传递了一个带有键 ['image_raw_xf'] 的数据字典。预期以下键:['input_1']

我正在基于 cifar10 示例构建 tfx 管道:[https://github.com/tensorflow/tfx/tree/master/tfx/examples/cifar10]

不同之处在于我不想将其转换为 tf_lite 模型,而是使用基于 keras 的常规 tensorflow 模型。

一切都按预期工作,直到我到达 Evaluator 组件,因为它失败并出现以下错误:

不知道我做错了什么,但到目前为止我调试/修改了代码如下:

[1] preprocessing_fn 输出正在输出密钥image_xf

[2] 当我构建模型时,我使用了带有同名 inputLayer 的迁移学习image_xf

[3] 相应地创建模型签名:

现在,我怀疑 tensorflow 没有正确保存模型,因为当我导出保存的模型时,输入层input_1不是image_xf.

这里要注意的是(1)我在Sequential上面的模型中添加的输入层丢失了,(2)mobilenet 第一层是input_1,所以我得到一个不匹配的原因是有道理的。

那么我怎样才能让模型正确保存正确的输入呢?

这是完整的代码:

管道.py

实用程序文件:

0 投票
2 回答
285 浏览

python - ModuleNotFoundError:没有名为“tfx.utils.dsl_utils”的模块

我确实安装了 tfx 版本 1.2.1 Python:3.8.2 Tensorflow:2.5.2 pip:21.3.1 我使用窗口并通过 pip 安装了包。

我这样做时发生了错误:

错误:

我完全安装了所有软件包都兼容的 tfx。任何帮助表示赞赏。

0 投票
0 回答
53 浏览

mysql - 无法连接到 TensorFlow Extended 中的 MySQL 数据库

我在使用 MySQL 数据库作为 TensorFlow Extended 管道中的元数据数据库时遇到问题。

我使用企鹅模板设置了一个非常简单的管道,并在本地设置了一个 MySQL 数据库。

我在代码中唯一更改的是 tfx.orchestration.metadata.mysql_metadata_connection_config用作metadata_connection_config管道的输入而不是tfx.orchestration.metadata.sqlite_metadata_connection_config

运行此代码会导致以下错误消息:

在此日志中,我使用的是 AirFlow,但如果我运行 LocalDagRunner,则会显示相同的异常消息:

我尝试将主机更改为“127.0.0.1”,但这并没有改变任何东西。任何人都有类似的问题,或者可能在我的方法中看到明显的错误?

MySQL 服务器是 8.0 版,我使用的是 TensorFlow Extended 1.4.0 版

0 投票
0 回答
21 浏览

deep-learning - 使用 TFX 作为 TFRecord 加载自定义图像数据集

我正在尝试在自定义数据集 [图像/标签] 上使用 TFX 所以我使用ImportExampleGen文件.TFRecord如下

我得到了IndexError: list index out of range,因为example_gen.outputs['examples'].get()[]

这是图像到 TFRecord 代码

我正在使用TF==2.7.1TFX==1.6.0

我找不到错误,所以我希望你能。谢谢你。

0 投票
0 回答
27 浏览

python-3.x - TensorFlow Extended 安装错误与一些冲突

我需要帮助安装 tfx,我刚刚运行了这个命令:

但我得到这个错误:

我不知道为什么以及如何解决它。我也试过没有-U标签,但没有工作。

在此之前,非常感谢您的帮助,我很感激。

0 投票
0 回答
7 浏览

machine-learning - 如何直接访问/使用 TensorFlow Extended StatisticsGen 统计信息?

我正在尝试使用 TFX 进行常见的 ML 管道工作。我有点难以实际使用StatisticsGen组件来检查分析数据统计信息。而在 TFDV 的情况下,我可以直接访问统计信息:

如果是 TFX 本身,StatisticsGen 会生成一个二进制 FeatureStats.pb 文件artifacts/StatisticsGen/statistics/...

如何从 StatisticsGen 中提取实际统计数据以用于检查数据(或任何其他目的)?我知道交互式上下文可视化统计数据的能力的存在,但这在生产环境中没有帮助。