netflix-metaflow - 如何使用 metaflow 从 s3 获取元数据？

Question

metaflow的官方教程显示，运行脚本后可以使用jupyter notebook和元数据进行分析。我也知道 metaflow 会自动将元数据写入 s3。那么如何使用 jupyter notebook 从 s3 获取元数据？我能想到的唯一方法是使用boto3。我想可能有更好的工具可用。

Answer 1

默认情况下，Metaflow 将元数据存储在本地文件系统中。为了利用 S3，您必须配置 Metaflow 以实际使用 AWS 资源。

这是 Metaflow 的高级概述，只是为了让您熟悉它。

10 分钟了解 Metaflow - 动手教程

以下是将其连接到 AWS 的具体指南。

AWS 上的元流

Answer 2

您应该能够使用 metaflow 提供的 python 客户端来访问数据。

例子：

from metaflow import Step
print(Step('DebugFlow/2/a').task.data.x)

DebugFlow流程名称、2运行编号、a步骤名称以及x您尝试加载的工件/元数据的变量名称在哪里。

这记录在这里： https ://docs.metaflow.org/metaflow/client#accessing-data