问题标签 [mlmd]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
312 浏览

tensorflow - TensorFlow TFX 中存储在 MLMD 中的数据

据我了解,TensorFlow 使用MLMD来记录和检索与工作流相关的元数据。这可能包括:

  1. 管道组件的结果
  2. 关于通过管道组件生成的工件的元数据
  3. 有关这些组件执行的元数据
  4. 关于管道和相关沿袭信息的元数据

特征:

以上(例如#1 aka“组件的结果”)是否暗示 MLMD 存储实际数据?(例如,用于 ML 训练的输入特征?)。如果不是,那么管道组件的结果是什么意思?

编排和管道历史:

此外,当将 TFX 与例如 AirFlow 一起使用时,它使用自己的元存储(例如有关 DAG、它们的运行和其他 Airflow 配置(如用户、角色和连接)的元数据),MLMD 是否存储冗余信息?它会取代它吗?

0 投票
0 回答
91 浏览

google-cloud-platform - GCP 中的 Kubeflow 元数据存储

我已经根据这个文档在 GCP 中部署了 Kubeflow Pipelines 。我想使用 Kubeflow 元数据存储来存储和访问我的模型的元数据信息。

在 Kubeflow 的先前版本 v1.2 之前,元数据存储是文档的一部分: https ://v1-2-branch.kubeflow.org/docs/components/metadata/

但是在当前版本 v1.3 中,组件中缺少元数据存储: https ://www.kubeflow.org/docs/components/

请注意,我可以在 GCP 上的 Kubeflow Pipelines 中看到单元“Artifacts”,但是当我尝试通过基于示例的 API 调用访问它时,使用 metadata.Workspace(...) 我收到此错误: tensorflow.python.framework.errors_impl.UnavailableError: DNS resolution failed for service: https://..../:8080

我在 Kubeflow 的文档中没有找到任何最近的例子。

  • 为什么最新版本的 Kubeflow 中缺少元数据存储?
  • 关于如何在 GCP 上的 Kubeflow 管道中集成元数据存储有什么建议吗?
0 投票
0 回答
31 浏览

python - 安装模型卡工具包时的依赖关系问题

我想通过以下命令在我的 python 虚拟环境中安装模型卡工具包: pip install model-card-toolkit

有没有其他方法可以安装模型卡工具包?