问题标签 [azure-dsvm]

我想在 Azure Linux 数据科学虚拟机 (DSVM) 上使用具有特定库（Keras、TensorFlow）的特定 Python 环境，将我的一些本地工作迁移到云端。

我使用 Keras v2.1.6 在终端中创建了环境。另外，我可以在 Jupyter 环境中看到环境。但是，当我将内核切换到新环境并运行时：

这应该是 2.1.6。

任何帮助，将不胜感激！

我一直在研究用于机器学习的 Azure VM。标准Azure DSVM是一个很好且简单的解决方案。我还遇到了Azure 深度学习 VM，它被预配置为基于 GPU 的 DSVM。但是，我也可以将标准 DSVM 部署为基于 GPU 的 VM。

这两个虚拟机有什么区别？

部署深度学习虚拟机是否值得麻烦，因为这个虚拟机只能部署在自己的资源组和虚拟网络中？

我正在尝试使用 R AzureDSVM 包通过 R 创建 Linux DSVM。我正在阅读指南https://raw.githubusercontent.com/Azure/AzureDSVM/master/vignettes/10Deploy.Rmd（Azure DSVM 指南）

首先，该指南要求您创建一个 Azure Active Directory 应用程序，该应用程序将提供“租户 ID”、“客户端 ID”和“用户密钥”，这些指南在http://htmlpreview.github.io/?https://github中描述.com/Microsoft/AzureSMR/blob/master/inst/doc/Authentication.html（Azure SMR 身份验证指南）

据我了解，这会创建一个在 Azure Active Directory 中注册的应用，为该应用创建一个“身份验证密钥”，即用户密钥，并将该应用与资源组相关联。我已经成功地做到了。

然后，Azure DSVM 指南以类似于以下内容的方式创建具有公钥身份验证的 VM：

该指南含糊地描述了从用户私钥创建公钥 (PUBKEY)，该私钥被发送到 VM 以允许其提供 SSH 身份验证：

首先，我们需要加载我们的 Azure 凭据以及用户的 ssh 公钥。Linux 上的公钥通常在用户台式机/笔记本电脑上创建，并且可以在 ~/.ssh/id_rsa.pub 中找到。创建一个凭证文件来包含这些信息会很方便。凭证文件的内容类似于以下内容，我们假设用户在当前工作目录中创建了这样一个文件，并将文件命名为 _credentials.R。替换为用户的用户名。

我的问题：

此公钥 PUBKEY 是从通过在 Azure SMR Auth 指南中设置 Azure Active Directory 应用程序（上述脚本中的 KEY 变量）创建的身份验证/用户密钥生成的吗？如果是这样，怎么做？我尝试使用 R 钠库pubkey(charToRaw(KEY))来执行此操作，但我得到“无效的密钥，必须正好是 32 个字节”。

如果 PUBKEY 不是从 KEY 生成的，它是从什么生成的？包如何知道如何使用该公钥的私钥进行身份验证？

我们的安全团队只允许从自定义黄金映像创建 VM，那么如何从企业自定义映像创建 Azure-DSVM？

我使用 ssh 密钥而不是用户名/密码组合设置了一个 azure dsvm。现在，我不确定如何登录 Jupyter 中心，因为它要求输入用户名和密码。密码应该是什么，因为我从来没有输入过。

我正在使用在 jupyter notebook 中建立 pyspark 环境的 python 脚本。内核是Azure ML 3.6

但我收到此错误： Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled 在 JVM 中不存在

我不明白为什么。昨天这段代码运行良好，但今天我收到了这个错误。

我正在尝试安装 AzureStor，以便从运行 RStudio 的 Azure DSVM 访问 Azure 存储 Blob。AzureStor 需要 Rtools，但是我无法安装 RStudio 可以连接到的 Rtools 的工作版本。我尝试了两种安装方法： a) 下载最新版本的 Rtools 并使用 Rtools35.exe 进行安装。无数次并确保 C:/Rtools/bin 位于 PATH 列表的顶部。b) 安装“installr”然后运行 ​​install.Rtools()

两者都会导致以下错误：

错误：运行命令 '"C:/PROGRA~1/Microsoft/ML Server/R_SERVER/bin/x64/R" --no-site-file --no-environ --no-save --no-restore -- quiet CMD config CC' 的状态为 127

这是路径看起来像下面的方法（a）：

这是路径看起来像下面的方法（b）：

我不能强制将 Rtools 目录放在我认为导致问题的路径列表的首位。是否有人在 Azure DSVM 上成功安装了 Rtools？还是 AzureStor？帮助表示赞赏。谢谢你。

我可以遵循哪些有效程序来保护我的 Jupyter Notebook？

我按照此处的说明（https://docs.microsoft.com/en-us/azure/machine-learning/data-science-virtual-machine/dsvm-ubuntu-intro）创建了一台 Azure 数据科学机器，

并且正在https://public-ip:8000访问我的 Jupyter 笔记本（这是创建 VM 时自动配置的默认端口）。

但是，当我访问它时，它表明连接不安全。

似乎 ssl 为端口 8888 提供证书，而 Let's Encrypt 通常为端口 80 提供证书。关于如何为我的 Azure 数据科学 VM 获得安全连接的任何建议？

让我知道我的问题是否含糊/需要澄清。

我在运行 Windows Server 2019 的开发测试实验室中使用 Azure DSVM。我正在尝试安装 Docker 并努力让我能够从 Azure ML 服务环境运行本地实验。

我想在 Docker 上构建一个定制的 Linux 容器——我相信通过阅读其他一些在线帖子在 Windows 上是可能的（由于各种原因，我不能使用 Linux 主机）。当我尝试创建包含WORKDIR ...步骤的此类映像时，我收到“容器 ***** 在 CreateProcess 期间遇到错误：Windows 系统调用失败”错误。

我在 DSVM（标准 D2s_v3）上安装了 Docker，方法是在创建时添加“Docker”工件，然后运行以下命令来启用 Linux 容器：

运行一个简单的 Linux 容器可以正常工作：

为了构建自定义映像，我使用了一个简单的 Dockerfile，如下所示：

该图像似乎build成功：

当我run图像时，我收到以下错误：

我尝试了各种日志（例如Get-WinEvent -LogName Microsoft-Windows-Hyper-V-Compute-Operational和Get-EventLog -LogName Application -Source Docker），但看不到有关错误的任何其他信息。

谁能建议是否可以在 Windows DSVM 上创建基于 Linux 的自定义映像？如果是，任何人都可以告诉我可能是什么问题或我可以采取的任何其他故障排除步骤吗？

谢谢！

我正在尝试在 Azure Notebook 中训练深度学习模型，该模型使用 DSVM-Ubuntu 18.04 中的 GPU，该模型由标准 NC6（6 vcpus，56 GiB 内存）组成，并且出现以下错误：

运行时错误：CUDA 内存不足。尝试分配 64.00 MiB（GPU 0；11.17 GiB 总容量；10.76 GiB 已分配；50.31 MiB 空闲；PyTorch 总共保留 10.84 GiB）

我在这方面进行了搜索，在网上的任何问题中都找不到任何解决方案。错误消息中的“PyTorch 总共保留了 10.84 GiB”引起了我的注意，这是否可以配置为具有低内存值？我想收到这方面的任何意见。谢谢你。

这是我的微调/训练代码

错误的整个堆栈跟踪：