问题标签 [azureml-python-sdk]

所以我开始创建一个 MLOps 管道，它在多个管道步骤中训练多个模型。

下图是 Azure ML Studio 中编码管道步骤的图形表示。

这些步骤运行良好，两个最终步骤都生成了我想要的模型（训练数据 - 非 EOW TFIDF 和训练数据 - EOW TFIDF）......

然而，这是我在注册和打包模型部件以进行部署时遇到的问题。这些模型在单个管道步骤中生成和存储（请参阅下面的训练数据的模型输出 - 非 EOW TFIDF）

但我不知道如何将两个管道步骤的模型输出注册在一起，因为我读过的注册模型的文档似乎只引用了从一条路径注册一个模型的能力。 https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.model.model?view=azure-ml-py#register-workspace--model-path--model- name--tags-none--properties-none--description-none--datasets-none--model-framework-none--model-framework-version-none--child-paths-none--sample-input-数据集无--样本输出-数据集-无--资源配置-无-

基本上，是否可以从多个管道步骤生成多个模型输出并将它们注册在一起？

在此先感谢您的帮助！

我正在开发一个使用 Azure ML(ml.azure.com) 创建模型的项目，

我计划最终使用 Azure ML Designer，所以我选择了一个示例管道（回归 - 汽车价格预测（基本））。然后我创建了一个实时推理管道并创建了一个实时端点。

发布此消息后，我可以按预期通过互联网从 .Net 客户端获取此模型的预测。

作为同一个项目的一部分，我最终希望通过预测完全消除互联网依赖/附属延迟。我知道这可以通过打包模型并下载在本地计算机上运行并通过评分 Web 服务公开模型的 docker 映像来实现。

为了打包模型并将其下载为 docker 映像，我使用了以下 python 代码，这将在我的本地 PC 上执行：

现在，当我运行此脚本时，会在我的计算机上下载一个 docker 映像，并且可以使用 docker 运行该映像。

问题是什么？

作为创建推理配置的一部分，我需要指定一个名为 score.py 的入口脚本。似乎我无法运行 docker 映像，因为入口脚本可能不正确。

这是我的 score.py 目前的样子：

导入操作系统导入json

从 azureml.core.model 导入模型导入日志记录

我从 Microsoft 材料中构建了这个入口脚本，但它不起作用并且 Docker 映像无法启动。

我的问题是，

1. 推理配置中的源目录是否正确？鉴于我只希望模型在本地运行能够在本地提供预测，我的源目录应该是什么？
2. 我应该对此条目脚本进行哪些更改以使评分在我的计算机上本地工作？

谢谢，

使用 AzureML python SDK，我可以获得所有计划管道的列表。

这将返回一个 Schedule 对象列表，其中包含它们的名称、recurrence 和 pipeline_id 等属性。Schedule类似乎没有 pipeline_parameters 属性。这对于普通管道来说很好，但我有一个参数化管道，我在不同时间安排了不同的参数。我如何知道已经安排了哪些参数？

从 Schedule 对象返回的 pipeline_id 用于管道端点，它是通用的并且没有分配给它的参数。

我难住了！

我正在使用 Azure App 服务容器来托管 Azure ml 模型，如此链接中所述。

我想为传入请求添加身份验证。应用程序在 python 中，使用带有烧瓶的 Azure ml 包装模型。

如何为此服务完成基于 JWT 的身份验证？

每当我尝试在 azure 上运行 python 脚本时，我都会在日志中看到下面显示的一长串消息。请告诉我是什么原因造成的以及可能的解决方案。

警告：您的环境文件中有 pip 安装的依赖项，但您没有将 pip 本身列为您的 conda 依赖项之一。Conda 可能不会使用正确的 pip 来安装您的软件包，并且它们最终可能会出现在错误的位置。请添加显式 pip 依赖项。我给你加了一个，但还是唠叨你。

我正在运行一个实验管道来使用 PyTorch 和 CUDA 训练我的模型。我创建的环境如下：

这是训练步骤：

即使我在Standard_NC12_Promo运行训练脚本时使用的是机器，PyTorch 也不会拾取 GPU device = torch.device("cuda" if torch.cuda.is_available() else "cpu")。
如果我尝试在同一台机器上而不是在实验中运行我的脚本，则使用 GPU。
你知道任何潜在的解决方案吗？

当我尝试使用然后在我的脚本中安装 SDK 时，我遇到了Azure ML的问题。假设软件包安装已完成并由终端输出确认，我不明白怎么可能出现此错误：pip install azureml-coreimport azureml.core

“已满足要求：c:\python\python38\lib\site-packages 中的 azureml-core”

我已经azureml-core在终端和脚本中安装了软件包，!pip install azureml-core但仍然出现此错误...

脚本：

输出：

我在 Windows 10 上次更新和 VSCode Insider 上使用 Python 3.8.10 在本地运行脚本。

我的目标是在 Azure 实例上计算而不通过远程，因为我想使用我的本地 fodler。

我有一个管道步骤，它生成图像标签，就像从一个文件的Data Labeling项目中导出的标签一样jsonl。

这一步jsonl在 a 中生成标签文件，OutputFileDatasetConfig然后我想我会做

但是这个神奇的read_json_lines_files()功能是不存在的。

如何使用当前可用的 API 实现相同的行为？

从类成员的OutputFileDatasetConfig文档中，destination

如果设置为 None，我们会将输出复制到路径 /dataset/{run-id}/{output-name} 下的 workspaceblobstore 数据存储区

鉴于我有这样的句柄OutputFileDatasetConfigset destinationto None，我如何在destination不自己重新计算默认值的情况下生成生成的，因为这可能会发生变化。

1. 我创建了一个由 4 个步骤组成的 Azure ml 管道。首先，两步是python脚本步骤，第三步是databricks步骤，第四步也是python脚本步骤。我正在创建管道数据并将其传递给所有后续步骤。

prepped_data_parameter = PipelineData('prepped_parameter', datastore=data_store)

第二个 python 步骤可以从管道数据中读取值，但它在 databricks 步骤中不起作用。2. 我还测试了将数据从一个数据块步骤传递到另一个数据块步骤，认为 dbfs 路径可能导致问题。在这里它也不起作用。

当我制作管道数据时，python 脚本步骤会产生这样的路径：

Databricks 步骤产生这样的结果：

wasbs://azureml-blobstore-*******-983b-47b6-9c30-d544eb05f2c6@*************l001.blob.core.windows.net/azureml/*****-742d-4144-a090-a8ac323fa498/prepped_parameter/

我想知道如何有效地将管道数据从 python 传递到 databricks 步骤，反之亦然，而无需手动将数据存储到数据存储中并将其删除以获取中间管道数据。