问题标签 [tfx]

据我了解，TensorFlow 使用MLMD来记录和检索与工作流相关的元数据。这可能包括：

1. 管道组件的结果
2. 关于通过管道组件生成的工件的元数据
3. 有关这些组件执行的元数据
4. 关于管道和相关沿袭信息的元数据

特征：

以上（例如＃1 aka“组件的结果”）是否暗示 MLMD 存储实际数据？（例如，用于 ML 训练的输入特征？）。如果不是，那么管道组件的结果是什么意思？

编排和管道历史：

此外，当将 TFX 与例如 AirFlow 一起使用时，它使用自己的元存储（例如有关 DAG、它们的运行和其他 Airflow 配置（如用户、角色和连接）的元数据），MLMD 是否存储冗余信息？它会取代它吗？

我正在尝试运行一个非常简单的示例管道，其中扩展了 tensorflow，并带有 ML 元数据。

但是管道失败了。梁管道在该us-central1区域上运行（没有网络参数或子网集）。Cloud SQL 位于同一区域。我还尝试通过私有 IP 进行身份验证。我收到此错误：

RuntimeError: Failed to establish connection to Metadata storage with error: mysql_real_connect failed: errno: 2002, error: Can't connect to MySQL server on '10.124.128.3' (36) [while running 'Run[CsvExampleGen]']

而且我不知道还能尝试什么。我不能使用 SSL 证书，这些是 Cloud SQL 支持的唯一内容：

https://www.tensorflow.org/tfx/api_docs/python/tfx/orchestration/metadata

该管道正在运行以下内容：

ml 元数据组件是可选的，管道可以在没有它的情况下成功运行。

我运行时遇到以下错误context.run(example_gen)，我想了解它的含义以及如何避免出现错误。请提前咨询和感谢！

错误： RuntimeError: Files in same split /home/jupyter/.../data/* have different header.

数据是标题为“A、B、C、D”的 csv

我成功地在我的 conda root 上安装了 TFX。但是，当我在 conda virtual env 上尝试相同的操作时，我遇到了 TFX 依赖项的错误，例如 ml_metadata、tfx-bsl。

如果我从 root 使用 TFX，那么我将无法使用 apache-beam。它把我扔了 TypeError: Receiver() takes no arguments

我可以使用这两个库的任何中间地带。

谢谢！

我运行了示例教程（下面的链接），以使用基于 iris 数据集的本机 keras 创建 tfx 管道。我能够创建并保存一个 Tensorflow 模型。

https://github.com/tensorflow/tfx/blob/master/tfx/examples/iris/iris_pipeline_native_keras.py

我正在尝试使用与 Docker 一起服务的预测 API Tensorflow 来查询经过训练的模型。我无法弄清楚它的发布 API 请求。

我尝试了以下命令，但没有奏效。

模型的元数据如下

运行 saved_model_cli 命令的输出

输出：

输出：

从该模型中获取预测的正确 POST API 调用是什么？

先感谢您

我有一个语义分割深度学习模型，我想使用 TFX 在 kubeflow 上部署它。

当我将独立的 DL 代码移动到 TFX 组件时，我遇到了一些问题

1. 输入图像和掩码将存储在 tf 记录中。在 TFX 管道启动（即 ExampleGen）之前进行诸如裁剪、调整大小、将蒙版和图像组合到地面实况等预处理是否是一种好习惯？
2. 或者，将原始图像和蒙版存储在 tf-record 中，然后在 TFX 的 Transform 组件中进行预处理会更好吗？
3. 我还有一些在训练期间用于数据增强的代码。在训练器组件或 TFX 的转换组件中应用增强功能会更好吗？

我非常感谢任何需要注意的专业提示或注意事项！

我正在学习创建 TensorFlow Extended 管道并发现它们非常有用。但是，我还没有弄清楚如何调试和测试通过这些管道的（表格）数据。我知道 TensorFlow 使用 TFRecords/tf.Examples，它们是 protobufs。

这些可以通过使用 aTFRecordDataset和 tf.Example进行人工阅读parseFromString。不过，这种格式很难阅读。

如何实际测试数据？我觉得我需要一个熊猫数据框。而且由于我们有 100 多个列和不同的用例，每次我想这样做时，我几乎无法定义所有列。我可以以某种方式使用我的架构吗？谢谢！

编辑：我会接受@TheEngineer 的回答，因为它给了我关于如何实现我想要的关键提示。不过，我想分享我的解决方案。

免责声明：我使用此代码只是为了测试并查看我的管道中发生了什么。在生产中使用此代码时要小心。可能有更好、更安全的方法。

现在，您只需使用存储的 tfrecord 和 schema.pbtxt 文件调用此函数：

我目前正在尝试使用 TFX 实现一个管道（我已经关注了这个笔记本：TFX - Chicago Taxi），以便通过 Tensorflow Serving 为其提供服务。当我尝试实现自己的管道来对文本进行分类时（来自此数据集：Kaggle - BBC 新闻分类）

所以，现在我能够实现每个组件，直到培训师。例如，这里是我的 Transform 组件：

这只是旨在获取原始“文本”列并简单地计算输出类别的词汇表。

我的问题出在哪里，是当我尝试构建一个包含

在我的模型层中。我的意思是，我可以很容易地将它包含在这样的模型中：

而这项工作。但是当我尝试将它与我的数据集相匹配时，我得到了这个：

我对 Tensorflow 相当陌生，我试图了解使用 TFX 编写管道的整个过程我不明白为什么矢量化层似乎不期望 SparseTensor 而是期望一个字符串。我确实知道使用实验功能的含义，但是如果有人有想法，或者可以指出我正在犯的一个明显错误，那就太好了！

我已经没有想法来完成这项工作了。

注意：我认为它来自我检索数据集的方式：

我也这样使用：

我正在尝试为我的模型制作一个评估器。到目前为止，所有其他组件都很好，但是当我尝试这个配置时：

使这个评估器：

我明白了：

我以为这是我的配置，但我不明白这有什么问题。

我正在使用这个数据集Kaggle - BBC News Classification。我关注了这个笔记本：TFX - Chicago Taxi，以便为我的模型提供 Tensorflow Serving。

注意：我使用的模型如下所示：

除了TFX 指南涵盖的内容外，还有哪些其他设置机器学习管道的最佳实践？