问题标签 [tfx]

我是 tfx 的新手，正在学习整合管道。我已经在 GCP 上的 Kubeflow 中成功构建了一个管道。我想知道如何运行多个训练器，这些训练器将使用相同的 csvexamplegen、transform 和 schemagen 在管道中生成不同的输出/推送器。有没有人这样做过？请提前告知和感谢。

我喜欢让多个培训师使用相同的 ExampleGen、Schema 和 Transform 同时运行。下面是我添加额外组件作为 trainer2 evaluator2 和 pusher2 的代码。但是我一直收到以下错误，我不确定如何解决它们。能否请您提前告知和感谢！

错误： RuntimeError：组件类型 tfx.components.trainer.component.Trainer 的重复 component_id Trainer

我有以下使用 Tensorflow Extended(TFX) 的代码

当我在 Google Colab 上执行此代码时，它工作正常。但是，当我运行这个

回溯（最后一次调用）：
文件“tfx_sample.py”，第 4 行，
从 tfx.components.example_gen.csv_example_gen.component 导入 CsvExampleGen
文件“/Users/sv/tfx_env/lib/python3.7/site-packages/ tfx/components/init.py”，第 20 行，
从 tfx.components.bulk_inferrer.component 导入 BulkInferrer
文件“/Users/sv/tfx_env/lib/python3.7/site-packages/tfx/components/bulk_inferrer/component. py”，
第 24 行，
从 tfx.components.base 导入 base_component
文件“/Users/sv/tfx_env/lib/python3.7/site-packages/tfx/components/base/base_component.py”，第 28 行，
从tfx.components.base 导入 base_driver
文件“/Users/sv/tfx_env/lib/python3.7/site-packages/tfx/components/base/base_driver.py”，第 28 行，在
从 tfx.orchestration 导入元数据
文件“/Users/sv/tfx_env/lib/python3.7/site-packages/tfx/orchestration/metadata.py”，第 36 行，从 ml_metadata.metadata_store 导入元数据存储
文件“/usr/local /lib/python3.7/site-packages/ml_metadata/metadata_store/init.py”，第 15 行，从 ml_metadata.metadata_store.metadata_store 导入 MetadataStore
文件“/usr/local/lib/python3.7/site-packages/ml_metadata /metadata_store/metadata_store.py”，第 32 行，从 ml_metadata.metadata_store 导入 pywrap_tf_metadata_store_serialized 作为 metadata_store_serialized
文件“/usr/local/lib/python3.7/site-packages/ml_metadata/metadata_store/pywrap_tf_metadata_store_serialized.py”，第 28 行，在_pywrap_tf_metadata_store_serialized = swig_import_helper()
文件“/usr/local/lib/python3.7/site-packages/ml_metadata/metadata_store/pywrap_tf_metadata_store_serialized.py”，第 24 行，在 swig_import_helper _mod = imp.load_module('_pywrap_tf_metadata_store_serialized', fp, pathname, description)
File "/ usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/imp.py"，第 242 行，在 load_module 返回 load_dynamic(name, filename, file)
File"/ usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/imp.py”，第 342 行，在 load_dynamic 返回 _load(spec)
ImportError: dlopen(/usr/ local/lib/python3.7/site-packages/ml_metadata/metadata_store/_pywrap_tf_metadata_store_serialized.so，2）：找不到符号：____chkstk_darwin
引用自：/usr/local/lib/python3.7/site-packages/ml_metadata/metadata_store/_pywrap_tf_metadata_store_serialized.so（专为 Mac OS X 10.15 构建）
预期在：/usr/lib/libSystem.B.dylib in / usr/local/lib/python3.7/site-packages/ml_metadata/metadata_store/_pywrap_tf_metadata_store_serialized.so

这是已安装软件包的版本详细信息

apache-beam 2.20.0
tensorboard 1.15.0
tensorboard-plugin-wit 1.6.0.post3
tensorflow 1.15.0
tensorflow-data-validation 0.23.0.dev0
tensorflow-estimator 1.15.1
tensorflow-metadata 0.22.0
tensorflow-model-分析 0.21.5
tensorflow-serving-api 2.1.0
tensorflow-transform 0.22.0
tfx 0.21.4
tfx-bsl 0.22.0

作为 tfx trainer 和 pusher 输出的一部分，已保存的模型/预训练模型已通过以下库在 Google AI Platform Jobs and Models 中执行。

但是，当我在 Google AI Platform Models 中测试服务模型时，我收到以下错误消息，您能帮我理解它的含义吗？我应该如何转换我的输入数据以被模型接受？

错误：

Google AI Platform 模型中的示例输入：

这是培训师的代码。

我们正在 Airflow 上构建一个自动化的 TFX 管道，并且我们的模型基于Keras 教程。我们保存keras模型如下：

那个signatures字典是：

_get_serve_tf_examples_fn 的目的是为 TFX 评估器组件提供额外的张量，模型中未使用的张量，用于模型评估目的。就像上面的 Keras TFX 教程一样：

上述模型“接口”接受 TFX 评估器组件 (TFMA) 所需的 TF.Examples。

但是，对于 TF Serving，我们希望能够将 1 个原始字符串（只是一个 url）发送到 TF Serving 预测器 REST API 并获得它的预测分数。目前get_request_url_fn是：

这种方法仍然需要TF.Example尽管形式的输入。它需要代表客户的大量开销。即，import tensorflow。该代码确实有效：

结果返回：

当我们提交一个 base64 编码的字符串来代替它时，TF.Example它显然失败了：

返回：

问题是：signaturedef/signature 应该是什么样子才能接受原始字符串？如果不喜欢get_request_url_fn。当然客户端不应该只是为了发出请求而加载 TF吗？

TFX 网站本身在此处详细介绍了用于分类/预测/回归的 3 个 protobufs 文档，但是（对我而言）如何使用这 3 个 protobufs 进行我们需要的映射并不直观。

提前深表谢意。

我是 TFX 新手，我一直在学习 Keras 教程，并且我已经使用我的数据成功创建了 TFX 管道。当我学习通过 Docker 和 TF Serving 为我的模型提供服务时，我的数据输入必须按如下方式序列化以返回预测结果。

如何在不序列化数据输入的情况下将数据输入到 REST API。为此，我创建了第二个函数 - def_get_serve_raw。培训师已成功创建，但我似乎无法使用通过 REST API 输入的原始数据调用它。我测试了多种格式，但每次都有不同的错误。

我应该在 def_get_served_raw 函数中做什么，以便模型接受没有 base64 数据的数据输入？

仅供参考 - 该模型有 2 个数据输入作为字符串。

以下是我在 Trainer TFX 中的 def run_fn 上的内容

服务签名

测试和错误 1：

测试和错误 2

实际上，在 ML 管道组件中，我们清楚地指定了输入和输出。

例如，在 TFX statisticgen 中，从 examplegen 获取输入并输出一些统计信息。所以输入和输出很清楚，在所有组件中都是相同的。所以为什么我们需要协调器。如果有人知道请帮助我？

我正在寻找一种将 scikit 学习模型、XGBoost 模型、统计模型与 TFX 解决方案集成以供端到端生产使用的解决方案。如何继续使用 scikit-learn 功能以及 tensorflow 2.x TFX 支持？

我正在尝试使用 TFX 构建 ML 生产管道，目前正在使用 Trainer 模块。我需要在单独的文件中实现建模。

这是处理训练的管道的一部分：

这是module_file的一部分，它定义了模型：

另一个由 Trainer 调用的函数：

当我运行它时，我得到了这样的错误：

我从官方 TFX示例和指南中获取的整个逻辑和代码。在连接输入之后，数据以张量格式而不是 SparseTensor 格式进入模型层。我不知道那里发生了什么，并且网络中没有这样的情况:(

将非常感谢您的帮助！

需要帮助一些人了解 TFDV 中偏斜和漂移比较器的底层实现之间的区别。