问题标签 [tfx]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 如何将base64图像发送到gRPC tf服务服务器而不是http请求?
当我在 tf-serving 中提供对象检测模型并通过 http 请求访问它时,我有一个工作代码。相同的代码是:
我想做同样的事情,但使用 gRPC 客户端代码。
代码是:
但这会引发以下错误:
tensorflow - 没有参数的 TensorFlow Serving 导出签名
我想为 SavadModel 添加额外的签名,它将返回业务描述并使用 TensorFlow Serving 提供服务。
正如 TensorFlow Core 手册https://www.tensorflow.org/guide/saved_model#identifying_a_signature_to_export中所写,我可以轻松导出接受提供 tf.TensorSpec 的参数的签名。
是否可以在没有参数的情况下导出签名并在服务器上调用它?
在@EricMcLachlan 评论后添加:
当我尝试使用如下代码调用没有定义签名(input_signature=[])的函数时:
我在响应中得到下一个错误:
'_content': b'{ "error": "未能获取签名的输入映射:信息" }'
tensorflow - 用于图像数据的 TFX StatisticsGen
嗨,我正试图让 TFX 管道像练习一样运行。我用来从磁盘ImportExampleGen
加载。TFRecords
每一个都Example
包含TFRecord
一个字节串、高度、宽度、深度、转向和油门标签形式的 jpg。
我正在尝试使用StatisticsGen
,但收到此警告;
WARNING:root:Feature "image_raw" has bytes value "None" which cannot be decoded as a UTF-8 string.
并让我的 Colab Notebook 崩溃。据我所知,TFRecord 中的所有字节字符串图像都没有损坏。
我找不到有关StatisticsGen
和处理图像数据的具体示例。根据文档Tensorflow Data Validation 可以处理图像数据。
除了计算一组默认的数据统计,TFDV 还可以计算语义域(例如,图像、文本)的统计。要启用语义域统计信息的计算,请将 enable_semantic_domain_stats 设置为 True 的 tfdv.StatsOptions 对象传递给 tfdv.generate_statistics_from_tfrecord。
但我不确定这如何与StatisticsGen
.
这是实例化ImportExampleGen
然后的代码StatisticsGen
提前致谢。
python - Tensorflow Extended - 嵌套结构在训练期间断言失败
我正在尝试使用我自己的表格数据集基于 Tensorflow 的 TFX教程创建自己的 TFX 管道。所以我只是用我自己的数据集替换他们的数据集,并保留大部分现有代码。
然而,当我到达训练组件 - Trainer -assert_same_structure
由于不同的嵌套结构,断言错误失败:
有没有人遇到过这个问题?很难弄清楚 TFX 管道后台发生了什么。
airflow - TFX Trainer 组件未将模型输出到文件系统的问题
首先,我使用的是 TFX 版本 0.21.2 和 Tensorflow 版本 2.1。
我主要按照芝加哥出租车的例子构建了一条管道。执行 Trainer 组件时,我可以在日志中看到以下内容:
信息 - 培训完成。模型写入 /root/airflow/tfx/pipelines/fish/Trainer/model/9/serving_model_dir
检查上述目录时,它是空的。我错过了什么?
这是我的 DAG 定义文件(省略了导入语句):
这是我的模块文件:
预先感谢您的帮助!
python - 使用现有的 freeze_interface_graph.pb 和 label_map.pbtxt 部署 TFX
我已经用 fastR-CNN 网络训练了一个对象检测模型,frozen_interface_graph.pb
并label_map.pbtxt
进行了训练。我想将它部署为 RESTAPI 服务器,以便可以从没有 Tensorflow 的系统中调用它。那是我遇到TFX的时候。
如何使用TFX tensorflow-model-server
加载此模型并托管 RESTAPI,以便可以将图像作为 POST 请求发送以进行预测?
https://www.tensorflow.org/tfx/tutorials/serving/rest_simple这是我作为参考找到的,但模型的格式与我目前的格式不同。是否有任何机制可以让我重用我目前拥有的模型,或者我必须使用 Keras 重新训练并部署,如参考中所示。
tensorflow - 关于 Tensorflow 扩展 BigQuery 作为 ExampleGen 的问题
我正在学习使用 TensorFlow 扩展构建机器学习管道,我按照教程进行操作,现在我喜欢构建自己的。直接从 BigQuery 提取数据时出现错误。请提前告知和感谢!
代码:
错误:
tensorflow2.0 - Tensorflow 扩展中的训练器组件错误
这是我在完成教程并尝试使用我自己的数据集构建一个 tfx 管道之后第一次构建一个 tfx 管道。我可以对我编写的转换代码使用一些建议,并且更好地理解,我会感谢您的时间并提前感谢。
我已经完成了 ExampleGen、StatisticsGen、SchemaGen、ExampleValidator、Transform,并且在 Trainer 组件中出现错误。
错误:
代码:
google-cloud-dataflow - BeamDagRunner 依赖打包问题
我试图使用BeamDagRunner运行 TFX 管道,我使用 Dataflow 来编排管道和执行 tfx 组件。但是我无法执行组件,并且我的数据流作业失败说 setup.py not found。我相信正在发生的事情是我的组件数据流作业通过了光束管道 arg --setup_file=/path/to/setup.py 但该路径在编排器数据流机器上不存在,仅在我的本地。有没有办法可以将其正确传递给我的组件管道参数?当我使用 DirectRunner 进行编排时,这可以按预期工作,因为在本地路径上找到了 setup.py。
小片段:
此代码段应在 Dataflow 上运行协调器,并使用数据流执行组件。但是组件失败说 setup.py 找不到。
python - 加载 pb 文件:DecodeError: Error parsing message
我正在尝试加载从 pusher tfx 管道生成的 .pb 文件。我正在使用以下函数加载文件,但我从函数中得到以下错误。请帮忙。
错误:
功能