我目前正在试验 Metaflow。我遵循了文档，并能够使用给定的云形成模板部署 aws 设置。我的问题是为什么我总是得到：

message: "Missing Authentication Token"

当我在浏览器中访问METAFLOW_SERVICE_URL时，即使我确保在创建 cloudformation 期间将APIBasicAuth设置为 false？此设置不应该使元数据/元流服务无需身份验证/api 密钥即可访问吗？我该如何解决这个问题？或者这是预期的？也就是说，我无法通过浏览器真正查看元数据/元流服务 url？

提前致谢

metaflow的官方教程显示，运行脚本后可以使用jupyter notebook和元数据进行分析。我也知道 metaflow 会自动将元数据写入 s3。那么如何使用 jupyter notebook 从 s3 获取元数据？我能想到的唯一方法是使用boto3。我想可能有更好的工具可用。

我最近开始使用 Metaflow 进行超参数搜索。我对我的foreach所有参数使用如下：

这有效，因为它train_model按预期启动了步骤，但不幸的是它希望一次并行化所有步骤。这会导致我的 gpu / cpu 在步骤失败时立即耗尽内存。

有没有办法告诉元流线性地/一次一个地执行这些步骤，或者另一种解决方法？

谢谢

我在 AWS 上以批处理模式使用Metaflow 。我从 s3 中删除了 conda 文件夹。现在，当我尝试运行批处理任务时，它在引导环境步骤中失败。

显然metaflow.plugins.conda.batch_bootstrap尝试使用cache_urls与 conda.dependencies 文件中的环境 id 关联的环境 id 下载 conda 包。此处更详细地描述了该问题。

如何解决此问题，以便我可以再次运行元流批处理任务？

客观的

了解如何在 Metaflow 中使用 GPU。

背景

与如何使用 GPU #250 的文档/说明中一样，有几个关于如何使用 GPU 的讨论。

它@resources(GPU=2)负责 GPU 分配，但有一些讨论说明了带有 GPU 的 AWS EC2 实例类型，例如 P 或 G 实例，也是 AMI 的类型。

据我了解，Metaflow 使用的是使用 ECS/Docker 的 AWS 批处理。然后，docker 实例需要 docker 容器（NVIDIA Container Toolkit）内的 GPU 驱动程序才能访问 GPU。

因此，不清楚 Metaflow 如何管理 GPU，以及使用 GPU 所需的先决条件、配置和编码是什么。

问题

1. 我们是否需要使用已在 EC2 实例（docker 主机）级别预先配置 GPU 驱动程序的特定 AMI？
2. 我们是否需要在 GPU 上使用特定的 EC2 类型（P3、P4、G3、G4、INF1）？或者 Metaflow 是否使用 AWS Elastic Inference 等服务来动态分配 GPU，即使 Batch/ECS EC2 实例没有 GPU？
3. Metaflow 是否会在 docker 容器内安装 GPU 驱动程序或在内部使用 NVIDIA Container Toolkit？
4. @resource 是我们在 Python 代码中使用 GPU 所需的全部内容吗？

有没有办法获取存储在一个步骤中的元流工件的完整 s3 url 路径？

我查看了 Metaflow 的 DataArtifact 类，但没有看到明显的 s3 路径属性。

为各个 MetaFlow 步骤编写单元测试的正确方法是什么？而且，如何使用夹具代替真实数据集来测试完整的 DAG？如何确保这些测试的工件不会污染工件存储？

我有以下文件夹结构：

• 元流项目/

  • flow_a.py
  • flow_b.py
  • 助手.py

流 a 和流 b 是分离的独立流，但是在 a 和 b 中都出现了一些函数，为了避免重复代码，我制作了辅助函数helpers.py，我在流 a 和 b 中都导入了该函数。我的问题是，当我在 AWS step 函数上部署时，python flow_a.py step-functions create 流程已创建但未创建helpers.py，因此当我尝试从 helpers.py 导入我的 steps 函数时，代码失败，

解决这个问题的正确方法是什么？谢谢

在 AWS 上运行我通常会定义一个步骤：

但是，我正在使用深度学习库（MXnet/tensorflow/pytorch），它们在 conda 上并不是最新的，最好使用 pip 安装。

如何为此步骤定义 pip 依赖项？

我有一个主要包含文本和 json 文件的目录，以及一个二进制文件（MXNet.Block.save_parameters神经网络的输出）。

我想压缩这个文件夹然后腌制它。假设我有一个 zip 文件对象：

我真的不能腌制它：

我想知道是否有办法腌制 zipfile 或任何腌制目录内容的方法。

为什么？

我不是自己做酸洗，而是使用一个Metaflow在其中腌制对象的库，所以我想找到一种方法来存储我的模型Metaflow