问题标签 [azureml-python-sdk]

我在 Azure ML SDK 中做一个管道。在我运行管道一段时间后，它报告我已达到 300MB 的快照限制。我遵循了一些建议的修复：

• 每个步骤脚本都移动到一个单独的子文件夹

• 我在管道中添加了一个数据存储

• 添加了这一行：azureml._restclient.snapshots_client.SNAPSHOT_MAX_SIZE_BYTES = 1000

但是在我提交管道后发生了一个新的快照错误：

错误信息：

知道我如何解决这个问题吗？

完整脚本在这里：Github 上的脚本

我正在关注微软的这篇文章，通过两个步骤创建 azure ml 管道，并希望将 step1 写入的数据用于 step2。根据下面的文章，代码应提供 step1 写入用于 step2 的脚本的数据路径作为参数

但是当我访问 step2.py 中的 pd 参数时，它提供了

“<azureml.data.output_dataset_config.OutputFileDatasetConfig 对象在 0x7f8ae7f478d0>> 的绑定方法 OutputFileDatasetConfig.as_mount”

知道如何传递 step1 使用的 blob 存储位置在 step2 中写入数据吗？

我目前在我的 Azure 管道中使用 python 脚本

我的脚本是在本地开发的，在尝试导入 tensorflow 时出现导入错误......没问题，我想我只需要将它添加到某个地方的环境依赖项中——而这里的文档让我失望了。他们似乎在不接触 GUI 的情况下依赖 SDK，但我正在使用设计器。

此时我已经使用依赖项构建了一些环境，但是在运行或脚本级别上使用这些环境对我来说并不明显。

这似乎微不足道，因此非常感谢任何有关使用模块的帮助。

当使用 AutoMLConfig 训练回归模型时，n_cross_validations 是一个正常的 int，我没有遇到任何问题。

现在我想使用 TimeSeriesSplit 作为使用 AutoMLConfig 训练模型的交叉验证方法。为此，有一个“cv_splits_indices”参数，当 TimeSeriesSplit 中的 n_splits=5 时，我在其中放入一个索引列表列表，如下所示：

不幸的是，在运行以下单元格时：

我收到以下错误：

这里出了什么问题？我的输入看起来正确吗？

我正在尝试在 azureml 中运行机器学习实验。

我不知道如何从控制脚本中获取工作区上下文。microsoft 文档中的此类示例使用 Workspace.from_config()。当我在控制脚本中使用它时，出现以下错误：

"message": "我们在 [path] 或其父目录中找不到 config.json。请提供配置文件的完整路径或确保 config.json 存在于父目录中。"

我也尝试过包括我的订阅 ID 和资源规格，如下所示：

在这种情况下，我必须像在本地一样监控日志并在每次运行时进行身份验证。

如何从 azureml 的控制脚本中获取本地工作区？

我刚开始用 azure 学习机器学习。我已经阅读了一些关于 scriptrunco​​nfig、runco​​nfig 和 estimator 之间区别的文档。我在任何文档中都不太了解它们。请帮助我理解它们。我们什么时候使用每一个，为什么？

我正在遵循 Microsoft 的基本管道基础架构，分两步。

但我希望能够在提交管道之前复制每个 PythonScriptStep 的输出并将它们上传到 Azure blob 存储。这可能吗？我一直在尝试各种步骤，但无法获得预期的结果。

我有很多通过运行 PyTorch estimator/ScriptRunStep 实验创建的运行文件，这些实验保存在 azureml blob 存储容器中。以前，我一直在 ml.azure.com 门户的“实验”选项卡中查看这些运行，并将标签与这些运行相关联，以分类和加载所需的模型。

但是，一位同事最近删除了我的工作区。我创建了一个新的，它连接到先前存在的 blob 容器，因此运行文件仍然存在并且可以在这个新工作区上访问，但它们不再显示在 ml.azure.com 上的实验查看器中。我也看不到与跑步相关的标签。

有什么方法可以将这些旧运行文件加载到实验查看器中，还是只能查看在当前工作区中创建的运行？

示例脚本运行配置代码：

我有两个 V100 GPU 计算集群（命名为 - 具有 2 个节点的“Cluster1”和具有 2 个节点的“Cluster2”），我想在我的训练脚本（Pytorch 训练）中使用这两个集群。

现在，我可以在我的计算目标代码中使用“Cluster1”或“Cluster2”，并且我的训练代码正在使用 1 个 V100 GPU 进行训练。任何人都可以帮助了解如何在我的计算目标代码中同时使用集群（集群 1 和集群 2），以便我的训练脚本可以看到 2 个 V100 GPU 而不是 1 个 GPU。

你能告诉我这将如何实现，还请让我了解一个 V100 GPU 集群中的 2 个节点是什么意思（我确定不是两个 GPU）。但是，一个集群中的 2 个节点意味着什么以及它是如何工作的？

我是 AKS 的初学者，有很多我不太了解的概念。例如，我尝试部署一个包含 3 个 (agent_count_value) 类型的 Standard_B2s 代理和 2 个副本 (num_replicas) 的节点，但出现错误：

由于计算资源不足，部署请求失败。对于指定的计算目标，每个指定的 CPU/内存配置（0.1 个 CPU 内核，0.5GB 内存）不能创建 2 个副本。您可以通过调整副本数量、使用不同的 CPU/内存配置或使用不同的计算目标来解决此问题。InnerException 无 错误响应

知道 Standard_B2s 类型的 VM 具有 4 GB 的 RAM 和 2 个内核，我不明白如何为 Standard_B2s 类型的 3 个 VM 分配 2 个副本会返回此错误。

有人能告诉我如何计算给定虚拟机节点的最佳副本数吗？

预先感谢您的帮助