问题标签 [tfx]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
528 浏览

python - 如何将base64图像发送到gRPC tf服务服务器而不是http请求?

当我在 tf-serving 中提供对象检测模型并通过 http 请求访问它时,我有一个工作代码。相同的代码是:

我想做同样的事情,但使用 gRPC 客户端代码

代码是:

但这会引发以下错误:

0 投票
1 回答
730 浏览

tensorflow - 没有参数的 TensorFlow Serving 导出签名

我想为 SavadModel 添加额外的签名,它将返回业务描述并使用 TensorFlow Serving 提供服务。

正如 TensorFlow Core 手册https://www.tensorflow.org/guide/saved_model#identifying_a_signature_to_export中所写,我可以轻松导出接受提供 tf.TensorSpec 的参数的签名。

是否可以在没有参数的情况下导出签名并在服务器上调用它?


在@EricMcLachlan 评论后添加:

当我尝试使用如下代码调用没有定义签名(input_signature=[])的函数时:

我在响应中得到下一个错误:

'_content': b'{ "error": "未能获取签名的输入映射:信息" }'

0 投票
2 回答
1396 浏览

tensorflow - 用于图像数据的 TFX StatisticsGen

嗨,我正试图让 TFX 管道像练习一样运行。我用来从磁盘ImportExampleGen加载。TFRecords每一个都Example包含TFRecord一个字节串、高度、宽度、深度、转向和油门标签形式的 jpg。

我正在尝试使用StatisticsGen,但收到此警告; WARNING:root:Feature "image_raw" has bytes value "None" which cannot be decoded as a UTF-8 string.并让我的 Colab Notebook 崩溃。据我所知,TFRecord 中的所有字节字符串图像都没有损坏。

我找不到有关StatisticsGen和处理图像数据的具体示例。根据文档Tensorflow Data Validation 可以处理图像数据。

除了计算一组默认的数据统计,TFDV 还可以计算语义域(例如,图像、文本)的统计。要启用语义域统计信息的计算,请将 enable_semantic_domain_stats 设置为 True 的 tfdv.StatsOptions 对象传递给 tfdv.generate_statistics_from_tfrecord。

但我不确定这如何与StatisticsGen.

这是实例化ImportExampleGen然后的代码StatisticsGen

提前致谢。

0 投票
0 回答
80 浏览

python - Tensorflow Extended - 嵌套结构在训练期间断言失败

我正在尝试使用我自己的表格数据集基于 Tensorflow 的 TFX教程创建自己的 TFX 管道。所以我只是用我自己的数据集替换他们的数据集,并保留大部分现有代码。

然而,当我到达训练组件 - Trainer -assert_same_structure由于不同的嵌套结构,断言错误失败:

有没有人遇到过这个问题?很难弄清楚 TFX 管道后台发生了什么。

0 投票
1 回答
332 浏览

airflow - TFX Trainer 组件未将模型输出到文件系统的问题

首先,我使用的是 TFX 版本 0.21.2 和 Tensorflow 版本 2.1。

我主要按照芝加哥出租车的例子构建了一条管道。执行 Trainer 组件时,我可以在日志中看到以下内容:

信息 - 培训完成。模型写入 /root/airflow/tfx/pipelines/fish/Trainer/model/9/serving_model_dir

检查上述目录时,它是空的。我错过了什么?

这是我的 DAG 定义文件(省略了导入语句):

这是我的模块文件:

预先感谢您的帮助!

0 投票
1 回答
352 浏览

python - 使用现有的 freeze_interface_graph.pb 和 label_map.pbtxt 部署 TFX

我已经用 fastR-CNN 网络训练了一个对象检测模型,frozen_interface_graph.pblabel_map.pbtxt进行了训练。我想将它部署为 RESTAPI 服务器,以便可以从没有 Tensorflow 的系统中调用它。那是我遇到TFX的时候。

如何使用TFX tensorflow-model-server加载此模型并托管 RESTAPI,以便可以将图像作为 POST 请求发送以进行预测?

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple这是我作为参考找到的,但模型的格式与我目前的格式不同。是否有任何机制可以让我重用我目前拥有的模型,或者我必须使用 Keras 重新训练并部署,如参考中所示。

0 投票
2 回答
296 浏览

tensorflow - 关于 Tensorflow 扩展 BigQuery 作为 ExampleGen 的问题

我正在学习使用 TensorFlow 扩展构建机器学习管道,我按照教程进行操作,现在我喜欢构建自己的。直接从 BigQuery 提取数据时出现错误。请提前告知和感谢!

代码:

错误:

0 投票
2 回答
204 浏览

tensorflow2.0 - Tensorflow 扩展中的训练器组件错误

这是我在完成教程并尝试使用我自己的数据集构建一个 tfx 管道之后第一次构建一个 tfx 管道。我可以对我编写的转换代码使用一些建议,并且更好地理解,我会感谢您的时间并提前感谢。

我已经完成了 ExampleGen、StatisticsGen、SchemaGen、ExampleValidator、Transform,并且在 Trainer 组件中出现错误。

错误:

代码:

0 投票
0 回答
109 浏览

google-cloud-dataflow - BeamDagRunner 依赖打包问题

我试图使用BeamDagRunner运行 TFX 管道,我使用 Dataflow 来编排管道和执行 tfx 组件。但是我无法执行组件,并且我的数据流作业失败说 setup.py not found。我相信正在发生的事情是我的组件数据流作业通过了光束管道 arg --setup_file=/path/to/setup.py 但该路径在编排器数据流机器上不存在,仅在我的本地。有没有办法可以将其正确传递给我的组件管道参数?当我使用 DirectRunner 进行编排时,这可以按预期工作,因为在本地路径上找到了 setup.py。

小片段:

此代码段应在 Dataflow 上运行协调器,并使用数据流执行组件。但是组件失败说 setup.py 找不到。

0 投票
1 回答
7603 浏览

python - 加载 pb 文件:DecodeError: Error parsing message

我正在尝试加载从 pusher tfx 管道生成的 .pb 文件。我正在使用以下函数加载文件,但我从函数中得到以下错误。请帮忙。

错误:

功能