问题标签 [azure-machine-learning-service]

我想使用 python 和 PyCharm 创建一个机器学习管道，并在 azure 机器学习服务工作区中运行所有内容。然后我想在编辑和保存我的脚本时以某种方式集成我的 pycharm 脚本，它在 Azure ML 工作区中运行一个新实验。

我已经检查了所有关于使用 python sdk 使用 Azure ML 服务的教程，但是，每次都是通过笔记本而不是 pycharm。

我正在构建一个应该相当频繁地执行和训练的管道。我正在关注这个：https ://docs.microsoft.com/en-us/azure/machine-learning/service/how-to-create-your-first-pipeline

无论如何，我有一个流分析作业将遥测数据转储到 blob 存储上的 .json 文件中（很快将成为 adls gen2）。无论如何，我想找到所有 .json 文件并使用所有这些文件进行训练。我也可以只使用新的 .json 文件（老实说，这很有趣）。

目前我只是将商店安装到数据湖并可用；它只是迭代数据文件的挂载并加载它们。

1. 我怎样才能使用数据引用呢？
2. 数据引用对我有什么安装时间戳数据没有的作用？一个。从审计的角度来看，我有版本控制、执行时间和带有时间戳的只读数据。虽然，对此进行重播需要额外的编码，但是是可行的。

安装 python 包失败并出现错误。

我想在 Notebook VM 中安装 'tsfresh' 包。但它因来自 jupyter 终端和 jupyter 笔记本单元的错误而失败。

来自 Notebook jupyter notebook cell

错误信息

在一个客户中，我们一直在将 Azure 机器学习服务 (MLS) 用于两个项目。创建新的 MLS 工作区时，会自动创建四个服务：

• 存储帐户 • 密钥库 • 容器注册表 • 应用程序洞察

我们最近意识到，应用程序洞察服务是在美国东部地区创建的，而不是在创建其余服务的西北欧。客户希望他们的所有服务都在西北欧运行，因此他们要求我们对其进行更改。

所以我的问题是：您能否将 Azure 机器学习服务中的“参考”从一个应用程序洞察更改为另一个？我一直无法在文档中找到这方面的任何内容。还是我们必须创建一个新的 MLS 工作区才能做到这一点？

我正在为我们的模型设置部署管道，我想支持这种情况：

1. 用户在测试订阅的 AML 工作区中注册模型test，签入引用模型版本的部署代码/配置（有一个类似requirements.txt- 的文件指定模型 ID - 名称和版本）
2. Azure DevOps CI 在代码签入后触发以运行az ml model deploy到测试环境。
3. 用户决定在该端点运行良好后，想要部署到 prod。在 Azure DevOps 中，手动调用将使用相同的签入代码/配置（具有相同的引用模型）的 prod 管道：
   • 将模型从 AML 工作区复制到不同订阅的 AML 工作区中具有相同版本test的新注册模型prod
   • az ml model deploy使用与 env对应的不同变量运行prod，但使用相同的签入 AML 代码/配置

我查看了 MLOps 参考资料，但似乎无法弄清楚如何在上述场景中支持第 3 步。

我想我可以az ml model download从环境中下载模型test并将其注册到prod环境中。注册过程会自动设置版本号，例如，引用的配置myModel:12不再有效，因为在prodID 中是myModel:1

如何将模型从一个订阅中的一个工作区复制到另一个并保留 ID？

部署的 autoML 分类模型是否也可以返回概率？现在它似乎只返回类名。

谢谢！

提交 aml 计算作业时，我想访问发生计算的节点以进行调试。门户网站为我提供了 IP 地址、端口和节点 ID，但门户网站中似乎不存在密码。

我应该如何连接到机器？

我在 NC6 机器上运行单节点训练。我已经尝试运行通过门户提供的命令，但该节点（希望如此）受密码保护。

我有一个简单的 RegisterModel.py 脚本，它使用 Azure ML 服务 SDK 注册一个 fastText .bin 模型。这成功完成，我可以在 Azure 门户 UI 中看到模型（我看不到其中有哪些模型文件）。然后我想下载模型（DownloadModel.py）并使用它（用于测试目的），但是它在model.download方法上引发错误（tarfile.ReadError: 文件无法成功打开）并生成 0 字节 rjtestmodel8 .tar.gz 文件。

然后我使用 Azure 门户并添加模型并选择相同的 bin 模型文件，它上传正常。使用下面的 download.py 脚本下载它可以正常工作，所以我假设 Register 脚本不正确。

这是 2 个脚本和堆栈跟踪 - 如果您发现任何错误，请告诉我：

注册模型.py

下载模型.py

堆栈跟踪

环境

• riskModel.bin 是 6 兆
• AMLS 1.0.60
• 蟒蛇 3.7
• 使用可视代码在本地工作

在 AML 计算上运行 AML 管道时，出现这种错误：

我可以尝试重新启动集群，但这可能无法解决问题（如果存储没有节点累积，则应该清理它。

我希望这项工作能够正常运行。事实上，我已经检查了节点，节点确实有很多可用的硬盘空间：

关于我应该检查什么的建议？

在 Azure ML 服务中使用具有以下配置的 TensorFlow 估算器。

似乎在使用这种配置运行时，个别工作人员提出了他们自己的训练模型实例并尝试多次注册模型。我需要在 Tensorflow 训练脚本中处理分布式训练吗？