问题标签 [ml-studio]

我已成功运行 ML Pipeline 实验，并顺利发布了 Azure ML Pipeline。当我在成功运行并发布后直接运行以下命令时（即我正在使用 Jupyter 运行所有单元格），测试失败！

这是 azureml-logs/70_driver_log.txt 中的错误：

例外：找不到临时文件。作业失败。作业应生成临时文件或在此之前失败。请检查日志以查找原因。

以下是 logs/sys/warning.txt 中的错误：

[...]

具有相同的 URL。

下一个...

当我等待几分钟并重新运行以下代码/单元格时。

顺利完成！？嗯？ （我在这里更改了进程计数，但我认为这没有什么区别）。此外，日志中没有用户错误。

关于这里可能发生什么的任何想法？

提前感谢您提供的任何见解，并祝您编码愉快！:)

========== 更新#1：==========

在 1 个文件上运行约 300k 行。有时这项工作有效，有时则无效。我们已经尝试了许多具有不同配置设置的版本，都会不时导致失败。将 sklearn 模型更改为使用 n_jobs=1。我们正在对 NLP 工作的文本数据进行评分。

我们的下一个测试将是 - 将每一行数据放入自己的文件中。我只尝试了 30 行，即 30 个文件，每个文件有 1 条记录用于评分，但仍然得到相同的错误。这次我将错误阈值更改为 1。

在它完成的回合中，只返回一些记录。一次返回的记录数我认为是 25 或 23，另一次是 15。

========== 更新 #2：12/17/2020 ==========

我删除了我的一个模型（我的模型是 15 个模型的重量混合）。我什至清理了我的文本字段，删除了所有的制表符、换行符和逗号。现在我正在为 30 个文件评分，每个文件有 1 条记录，有时工作会完成，但它不会返回 30 条记录。其他时候它返回一个错误，并且仍然得到“没有找到临时文件”错误。

我们目前有一个数据工厂管道，它能够成功调用我们的 ML Studio 管道之一。ML Studio Pipeline 完成后，我们希望 Azure 数据工厂获取 ML Studio Pipeline 的结果并将结果存储在 SQL Server 中。

我们发现 PipelineData 类根据子运行 id 将结果存储在 blob 中的文件夹中，这使得数据工厂很难获取结果。然后我们发现了 OutputFileDatasetConfig，它允许 ML Studio 将结果保存到数据工厂的静态位置。这对数据工厂很有用，除了 OutputFileDatasetConfig 并不总是有效 :( 因为它是实验类。我们花了一段时间才弄清楚这一点，我们甚至为此创建了一个 stackoverflow 问题，我们解决了这个问题，可以在这里找到： Azure ML Studio ML 管道 - 异常：未找到临时文件

我们返回使用 PipelineData 类，该类根据子运行 id 将结果存储在 blob 中的文件夹中，但我们无法弄清楚如何让数据工厂根据 ML Studio Pipeline 的子运行 id 找到 blob刚跑。

所以我的问题是，你如何让数据工厂获取从数据工厂管道触发的 ML Studio 管道的结果？？？

这是我们正在尝试构建的数据工厂管道的简单视图。

第3步是我们无法弄清楚的步骤。任何帮助将不胜感激。感谢和快乐的编码！

实际上，我正在使用免费帐户学习 Azure ML Studio 课程。我有一个非常简单的笔记本，我从 Keras 加载 DenseNet 并使用它（没有拆分和训练）来预测一些图像。

我想知道是否可以在 Azure ML Studio Designer（低代码）中加载在 ImageNet 上预训练的 DenseNet 而无需对其进行训练，而仅像我在笔记本中那样将其用于预测？

我在 Azure ML Studio 中运行“执行 Python 脚本”时遇到错误错误 - 没有名为“azure.cognitiveservices”的模块

真的很奇怪，为什么在 azure 里面找不到 azure？

但是，当我通过 Jupyter Notebook 运行相同的 python 脚本时，它可以正常工作

我从 Azure ML Studio 上的数据湖文件夹创建了一个文件数据集，目前我可以使用以下代码将数据从数据集中下载到计算实例：

这样我就可以从笔记本中访问文件了。

但是将数据湖中的数据复制到计算实例中效率不高，如何才能将数据湖目录挂载到vm中，而不是每次都复制数据呢？

我在 Azure ML 计算实例中创建了自定义 conda 环境，并验证了 python 代码在环境中运行。但是，当我在 Azure ML 实验中提交 .py 文件时，即使为实验设置了相同的 conda 环境，运行也会失败。

这就是我提交实验的方式：

我还尝试从 conda YAML 文件创建 Azure ML 环境并在提交实验时使用它，但我仍然遇到相同的错误。

错误：

UserError：模块“tensorflow.python.training.experimental.mixed_precision”没有属性“_register_wrapper_optimizer_cls”

我正在尝试创建一个流程，作为不同的实验进行训练测试拆分、训练、验证、获得最佳模型（在 8 个差异算法中）并进行预测。问题是我需要创建实验的依赖关系，我需要帮助。我知道 azure ml 管道，但我正在寻找可以创建管道管道的东西，或者可以帮助我创建多个实验管道（具有依赖性）的东西。

例如对于示例管道： (train-test-split)->(train[custom,Many-model])->(validate)->(getbest alogos)->(predict) 之间会有其他实验，例如注册 modls.downloading 泡菜等。