问题标签 [azure-machine-learning-workbench]

我一直想知道是否可以将“数据准备”（.dprep）文件应用于 score.py 中的传入数据，类似于如何应用管道对象。这对于模型部署非常有用。为了找出答案，我在 MSDN 论坛上提出了这个问题，并收到了确认这是可能的回复，但几乎没有解释如何实际做到这一点。回应是：

在您的 score.py 文件中，您可以从 Python SDK 调用 dprep 包，以对传入的评分数据应用相同的转换。确保将 .dprep 文件捆绑到正在构建的映像中。

所以我的问题是：

• 我应用什么函数来调用这个 dprep 包？

  • 是：run_on_data(user_config, package_path, dataflow_idx=0, secrets=None, spark=None)？

• 从 CLI 创建 Web 服务时，如何将其捆绑到映像中？

  • 有没有切换到-f乐谱文件？

我浏览了整个文档和Workbench Repo，但似乎找不到任何示例。

我们欢迎所有的建议！

谢谢！

编辑：

设想：

1. 我从实时数据库导入数据，假设这个数据集有 10 列。

2. 然后，我使用 Workbench 对这个 (.dsource) 数据集进行特征工程，生成一个可能有 13 列的 .dprep 文件。

3. 然后将此 .dprep 数据集作为 pandas DataFrame 导入并用于训练和测试我的模型。

4. 现在我有一个模型可以部署了。

5. 该模型通过模型管理部署到容器服务，并将从实时数据库中获取数据，该数据库将再次采用原始格式（10 列）。

6. 显然，该模型已经在转换后的数据（13 列）上进行了训练，将无法对 10 列数据集进行预测。

我可以在“score.py”文件中使用什么函数来应用我在工作台中创建的相同转换？

我目前正在尝试使用 Azure 机器学习工作室连接到 DocumentDb (MongoDb)。

我目前正在关注本指南，但它似乎已经过时了。我所做的假设使我得到一个Error 1000: ... DocumentDb client threw an exception The underlying connection was closed. The connection was closed unexpectedly.

该指南和 Azure 机器学习工作室概述了用于建立连接的以下参数。

端点 URL、数据库 ID、DocumentDb 键、集合 ID。它还告诉您在Keys刀片下查找这些已不存在的内容。

这些是我所做的假设；

• 连接字符串刀片下的端点 URL = 主机 + 端口。https://host.com:port/
• 数据库 ID = Data Explorer 边栏选项卡下列出的数据库名称。
• DocumentDb 密钥 = 连接字符串刀片下的主密码。
• 集合 ID = Data Explorer 刀片数据库中集合的名称。

目前，我还打开了与数据库的所有连接，以确保我没有对外部请求关闭网络，我猜这意味着至少 DocumentDb 键是一个糟糕的假设。

在 Jon 的一些输入之后，下面是当前的状态

• 端点 URL = 概览边栏选项卡中的 Uri。
• 数据库 ID = Data Explorer 边栏选项卡下列出的数据库名称。
• DocumentDb 密钥 = 连接字符串边栏选项卡下的主密码。
• 集合 ID = Data Explorer 刀片数据库中集合的名称。
• sql查询=select top 10 * from CollectionID
• Sql 参数 = {}

如果“SomeContent”包含在 D 列中，我正在寻找一个简单的表达式，该表达式在 E 列中放置一个“1”。我在 Azure ML Workbench 中通过其添加列（脚本）函数执行此操作。这是他们给出的一些例子。

我可以为此使用的 1 行脚本有什么想法吗？谢谢

我无法在 Azure 机器学习工作室中找到回归神经网络的激活函数。我无法确定我的 NN 所采用的激活函数是什么。也关注了这份文件——

https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/neural-network-regression

有人可以建议在哪里提及它/使用的默认激活功能是什么？

所以，我有一个具有多种功能的程序。这些函数中的每一个都已使用 XML 打包在 zip 文件中，并且都已作为自定义模块成功上传到 Azure。

我正在尝试通过自定义 R 脚本调用这些函数。就像是：

然而，这是失败的。完全地。它甚至不导入任何自定义模块

命令。

我该怎么做呢？

此外，自定义模块在处理过程中相互调用。Azure Ml 会支持这种行为，对吗？

（该项目最终被移植到这个平台，所以我一直在努力确保我的代码在它不是为它设计的东西上工作。）

我在 Azure ML Stdio 中创建了一项实验并作为 Web 服务托管

https://studio.azureml.net/

但是，我已经安装了 Azure 机器学习工作台并登录到同一个帐户。它说：

在您的 Azure 订阅中找不到实验帐户您可以在 Microsoft Azure 管理门户中创建一个。

注意：Azure 机器学习工作台（预览版）已弃用。自发布此问题以来，部署模型、图像和服务的工作流程已更新。

我一直在使用 Azure 机器学习工作台（预览版）为 Azure 机器学习服务开发机器学习模型。按照Azure 机器学习文档（预览版）中的说明，我成功地将模型部署为 Web 服务。我已经设法让服务启动并运行，并且模型、清单和图像都配置正确。到目前为止，一切都很好。

但现在我已经到了希望能够使用新配置更新服务的阶段。这就是我发现自己的问题多于答案的地方。

我发现我可以

1. 配置新模型
2. 配置指向该模型的新清单
3. 配置指向该清单的新图像
4. 更新现有（或创建新）服务以指向新图像

这似乎足够合理。但是如果我只需要更新清单，是否可以跳过新模型的配置（1），从上面的（2）开始更新，让它指向现有模型而不是新模型一？

我当然通过从 CLI 调用以下命令来尝试过这个，但我遇到了以下输出：

如果我尝试回滚到以前的清单，则没有错误消息，并且一切正常。这让我认为我的新清单和/或图像有问题。但是，在创建它们时没有警告或错误。

我已经尝试搜索错误消息，但我什么也没找到。

我正在尝试使用 Azure 笔记本 (notebooks.azure.com) 创建一个新文件，并且执行 Jupyter 笔记本本身没有任何挑战或错误，但路径中缺少实际文件

执行脚本后的文件列表如下（我应该看到 test.txt 文件现在丢失了）

有人有输入吗？

我目前正在尝试使用 Azure Jupyter Notebooks 打开镶木地板文件。我已经尝试了两个 Python 内核（2 和 3）。安装pyarrow后，我只能在 Python 内核为 2 时导入模块（不适用于 Python 3）

这是我到目前为止所做的（为了清楚起见，我没有提及我所有的各种尝试，例如使用conda代替pip，因为它也失败了）：

如果我离线执行此操作（使用 Spyder，Python v.3.7.0），这很有效。但使用 Azure Notebook 失败。

请问有什么想法吗？

先感谢您 ！

编辑：

非常感谢您的回复彼得潘！我已经输入了这些语句，这是我得到的：

1.

=> read_parquet 没有出现

2.

=> 我得到：

3. 导入系统；print(sys.path) => 我得到：

   /li>

你有什么想法吗？

编辑2：

亲爱的@PeterPan，我已经输入了两个!conda update conda和 !conda update pandas：当检查 Pandas 版本（pandas.__version__）时，它仍然是0.19.2。

我也尝试过!conda update pandas -y -f，它返回：`Fetching package metadata .........解决包规范：。

环境/home/nbuser/anaconda3_23安装包方案：

将安装以下新软件包：

打字时： !pip install --upgrade pandas

我得到：

Requirement already up-to-date: pandas in /home/nbuser/anaconda3_23/lib/python3.4/site-packages Requirement already up-to-date: pytz>=2011k in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: numpy>=1.9.0 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: python-dateutil>=2 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: six>=1.5 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from python-dateutil>=2->pandas)

最后，输入时：

!pip install --upgrade pandas==0.24.0

我得到：

Collecting pandas==0.24.0 Could not find a version that satisfies the requirement pandas==0.24.0 (from versions: 0.1, 0.2b0, 0.2b1, 0.2, 0.3.0b0, 0.3.0b2, 0.3.0, 0.4.0, 0.4.1, 0.4.2, 0.4.3, 0.5.0, 0.6.0, 0.6.1, 0.7.0rc1, 0.7.0, 0.7.1, 0.7.2, 0.7.3, 0.8.0rc1, 0.8.0rc2, 0.8.0, 0.8.1, 0.9.0, 0.9.1, 0.10.0, 0.10.1, 0.11.0, 0.12.0, 0.13.0, 0.13.1, 0.14.0, 0.14.1, 0.15.0, 0.15.1, 0.15.2, 0.16.0, 0.16.1, 0.16.2, 0.17.0, 0.17.1, 0.18.0, 0.18.1, 0.19.0rc1, 0.19.0, 0.19.1, 0.19.2, 0.20.0rc1, 0.20.0, 0.20.1, 0.20.2, 0.20.3, 0.21.0rc1, 0.21.0, 0.21.1, 0.22.0) No matching distribution found for pandas==0.24.0

因此，我的猜测是问题出在 Azure 中管理包的方式上。更新一个包（这里是 Pandas），应该会导致更新到可用的最新版本，不是吗？

我正在尝试将我的 Faster R-CNN 模型放入 ACI 上的容器实例中。为此，我需要我的 docker 映像拥有 python 版本 3.5.*。我在我的 conda yaml 文件中指定了这一点，但是每次我启动一个实例并docker run -it *** /bin/bash进入它时，我都会看到它只有 Python 3.6.7。

https://user-images.githubusercontent.com/21140767/50680590-82b20b80-1008-11e9-9bfe-4a0e71084ce0.png

如何让我的 Docker 映像具有 Python 版本 3.5.*？我已经尝试过 conda 安装 Python 3.5.2 版本，但这并没有奏效，因为最终它没有 3.5.2，而只有 3.6.7。（dfimage 可让您查看创建图像的 dockerfile，https: //hub.docker.com/r/chenzj/dfimage/ ）。

https://user-images.githubusercontent.com/21140767/50680673-d6245980-1008-11e9-9d48-71a7c150d925.png

我的yaml：

笔记本单元格：从 azureml.core.conda_dependencies 导入 CondaDependencies

另一个具有 ContainerImage 规范的笔记本单元。

笔记

为了提高可读性，请参阅我的 GitHub 问题：( https://github.com/Azure/MachineLearningNotebooks/issues/163 )。