问题标签 [tfx]

TFX 管道是快速端到端模型开发的一个非常好的工具。但是，我还想在最终模型训练和评估之前包括超参数调整。

我的问题是，是否存在将调优纳入管道的最佳实践，如果有，是否可以公开获得？

我目前正在应对以可扩展的方式为我的 tensorflow 模型提供服务的挑战。据我所知，推荐的解决方案是使用标准的TensorFlow ModelServer。这可以很好地处理常见的要求 - 但我想要更多。我想通过解析像“limit”这样的参数来定义前n个logits +返回的概率来减少传输的数据量。

在我的研究中，我确定了以下解决方案：

1) 在模型构建过程中创建更高级的 SignatureDef。

2)使用上述功能自定义基本的tensorflow/serving项目。

3) 使用标准的 Tensorflow Modelserver 为模型提供服务，并构建一个后处理服务来重构 resp。以预定义的方式过滤结果。

比我更有经验的人可以详细介绍我的问题吗？- 代码片段或链接会很棒。

提前致谢。

我想使用 TFX 构建一个训练管道，并最终重用我的数据转换来向 TensorFlow-Serving 发出推理请求，而 TFX 应该能够做到这一点。我发现的 TFX 示例似乎都建立了批量训练管道并最终在 TensorFlow-Serving 中推送模型，但它们没有解决推理部分，由于延迟原因，推理部分必须是流式管道。我可能会编写自己的工具来提出请求，但不将我的 Transform 组件重用于推理部分似乎是一种浪费。

我已经在本地运行了 TFX 示例安装脚本在 dags 中安装的示例。气流 UI 清楚地表明这些是批处理管道。

我下载了tfma源码0.13.2，在本地用python2在jupyter notebook中运行，还是不行

工作代码：

不工作的代码：

似乎只有 Python 3 支持类型提示，所以上述错误对我来说是合理的。

然而，这是否意味着 tfma 代码不能在 Python 2 中运行，尽管 github 页面说它与 Python2.7 兼容？

还是我错过了什么？

当我访问我的 Kubeflow 端点以使用克隆的 TFX 上传和运行管道时，该过程在生成此消息的第一步开始挂起：

“此步骤处于待处理状态，并显示以下消息：ImagePullBackOff: Back-off pull image “tensorflow/tfx:0.14.0dev”，与创建的管道 yaml 文件中使用的图像相同。

我的总体目标是为 tfrecords 文件构建一个 ExampleGen，正如此处指南中所述。pip 中最新的 tfx 版本是 0.13，还没有包含必要的功能。出于这个原因，我安装 tf-nightly 并克隆/构建 tfx (dev-version 0.14)。这样做并安装一些额外的模块，例如 tensorflow_data_validation，我现在可以使用 tfx 组件创建我的管道，并包括一个用于 tfrecords 文件的 ExampleGen。我终于用 KubeflowRunner 构建了管道。然而，这会产生上述错误。

我现在想知道解决这个问题的适当方法。我想一种方法是自己使用指定版本构建图像，但也许有更实用的方法？

这是我的服务模型的元数据

可悲的是，我不知道如何从 NodeJs 与它交谈。如何将本地图像转换为有效的 224,224,3 DT_FLOAT 张量 ...

在python中，我可以用这段代码来做，但我想要nodejs版本

到目前为止我的代码

也许我可以使用 tensorflowjs 的一些功能......

我是 tensorflow 的初学者，现在在一个需要为 tensorflow 部署分布式生产平台的项目中。如果我能得到一些帮助来澄清我的想法，我将不胜感激。

阅读在线文档和youtube，我了解到分布式生产的主要组件如下。

使用 python 3.x 管道构建的 TFX（Tensorflow 扩展）：Apache Beam Orchestrator：Apache Airflow或Kubeflow

但是对于编排器，我认为这两个组件各有利弊，但哪一个是事实上的标准TFX？

该指南主要关注Airflow所以我认为这可能是一个，但kubeflow似乎是新的，所以它可能是新的挑战者。

谢谢，于

伙计们，我正在编写一个应用程序，它将根据 ML 模型调用生成推荐。应用程序将有不同的模型，其中一些应按顺序调用。数据科学家应该能够在系统中上传模型。这意味着应用程序应该具有存储模型元数据以及模型服务器地址的逻辑。模型服务器将在模型上传事件上动态实例化。我想在这里使用一个 TensorFlow Serving 集群，但是我遇到了一个架构问题。有没有办法为 TensorFlow 服务器提供服务注册表之类的东西？构建这样一个具有不同模型的服务器集群的最佳方法是什么？

实际上，我们正在创建一个能够将 AI 用例投入生产的平台。TFX 是首选，但如果我们想使用非基于 tensorflow 的库（如 scikit learn 等）并希望包含 python 脚本来创建模型，该怎么办。这种模型的输出将由 tensorflow 服务器提供。如何确保能够在一个系统设计中同时运行基于 tensorflow 的模型和非基于 tensorflow 的库和模型。请建议。

如何在我的 TFX 管道的 preprocessing_fn 中使用 tf.Transform 分析器变量？

我正在使用 tft.max 函数来计算整个数据集的最大值，该数据集被定义为查看源代码的分析器。我想在下面的函数调用中使用这个分析器的结果，但是得到以下错误：

变换函数

错误

我怎样才能使用这个值？我尝试了许多不同的方法来使用这个值，但似乎没有任何效果。

我们的数据

在我们的交互式管道中

相关版本