问题标签 [azure-dsvm]

我是 R 的新手，我正在使用一个包含超过 500 万个观察值的数据集。所以我认为在虚拟机上使用 RStudio 而不是在我的本地机器上使用它是一个好主意。我正在阅读有关虚拟机和 RServer 的文档，但我仍然不清楚是否必须使用 Microsoft R Server 创建 VIM，然后像在本地机器上那样安装 Rstudio，或者我是否可以创建通用VIM，然后安装 RStudio。哪个是正确的方法？为什么？如果这两种选择都是可能的，那么哪一种是最好的？请帮我。对不起我的困惑。

我正在尝试在 Azure 中构建一个用于模型训练的 VM。我发现这个Data Science Virtual Machine for Linux (Ubuntu)虚拟机似乎是一个合适的候选人。

不幸的是，当我启动 VM 并安装caffe先决条件时，我无法运行测试。我收到以下错误make runtest（make all并且make test已完成且没有错误）：

是否可以在 Azure 中启动一个适用于支持 GPU 的机器学习的虚拟机caffe？

有关 VM 的所有详细信息，请单击此处

这是我的问题：我有一个用于 Linux (Ubuntu) 的数据科学虚拟机，它将托管我的 Docker 容器。在这个容器内部，我运行了一个 Python 脚本。我希望 Azure Cloud 中的 C# 客户端与此容器集成。当它通过 XMLRPC 请求通过 ubuntu ip 调用此脚本的函数时，我的主机应该将 ip 地址重定向到ip:port/容器的。Idk 如何执行此 ip 重定向（或者可能称为转发/路由？）。我在互联网上找到的最简单的解决方案是 XMLRPC。有没有人能帮我解决这个问题，还有没有更好的方法来代替 XMLRPC 或 JSONRPC？

这是我的客户部分：

我有一个由图像分析模型和 2 个脚本文件组成的 python 应用程序。在 Main.py 中，我让 XMLRPC 服务器永远运行并监听客户端。

我的 Dcokerfile 是：

当我添加 CMD 来运行我的 Main.py 容器不起作用时，它立即退出。我能够运行此容器的最佳实践是什么？我正在为 Linux Ubuntu 使用 azure Data Science Virtual Machine。

我构建了我的 Dockerfile：

我运行我的容器：

目前我使用docker exec -it my-app-container bash并在我的容器内部管理东西并运行python Main.py &以在后台运行脚本，我认为这不是一个好方法。特别是我必须找到一种方法来放大和处理 3000 张图像。所以每个容器都需要有相同的设置。

任何想法？

我一直在尝试整理 Microsoft 的大量文档，但是找不到我正在寻找的答案，因此，在这里为专家发布！

我在 MS SQL Server 2016 的数据库中有一个表，我使用 MS SSMMS 对其进行读/写。我想将此单个表导出到我的 Azure 存储帐户中，以便在 MS 数据科学虚拟机中进行进一步分析，但找不到执行此操作的方法。有什么建议么？

谢谢。

我正在使用 Terraform 创建 Azure VM，但由于它们没有安装太多功能，因此我正在调查其他 Azure 资源。我发现 Azure Data Science VM 可以满足我的大部分需求，所以我想知道是否有一种方法可以使用 Terraform 创建这些 VM。我在文档中看不到它，但也许有一种解决方法。

这方面的任何方向都会很棒！

我的工作每天从流式工作中收集多次，并将 csv 放入 blob 存储中。在收集数据几周后，我将运行一个 python 脚本来做一些机器学习。为了设置训练数据，我首先将一个范围内的所有数据移动到虚拟机上的单个 csv 中，以便它可以一次在该单个 csv 上进行训练。

使用下面的代码，我发现使用 blob_service.get_blob_to_path() 将数据从 blob 存储移动到虚拟机平均每个文件需要 25 秒，即使它们是 3mb 的小文件。附加部分的速度非常快，每个文件只需几毫秒。

有一个更好的方法吗？我认为增加最大连接数会有所帮助，但我没有看到任何性能改进。

附加说明：这是在我的 train.py 过程中使用 Azure 机器学习工作台完成的。

- 编辑 -

Data Science VM 和 Storage Account 都在 SC US。DSVM 是 DS4_V2 标准（8c cpu，28gb 内存）。我当前测试的所有 blob 的总大小可能接近 200MB。

我对副本进行了计时，它很快就会出现一些示例输出，其中时间打印与顶部的代码对齐。第一个文件下载需要 13 秒，追加需要 0.01 秒。Second 需要 6 秒，然后追加 0.013。第三次下载需要 24 秒。

这一切都发生在 vm 中抛出的 docker 容器中。我不确定它在存储/高级/固态硬盘方面的位置。VM 本身具有 56gb“本地 ssd”作为 ds4_v2 的配置。

我没有尝试过平行路线，需要一些关于如何解决这个问题的指导。

我在 DSVM 中的 Visual Studio 上运行 R 脚本。我在安装已安装的包 (RODBC) 时遇到问题。我收到这条消息：

包“RODBC”成功解包并检查了 MD5 和警告：无法删除包“RODBC”的先前安装

如果我尝试加载库，我会收到它不存在的消息。

base::library(...) 中的错误：没有名为“RODBC”的包

在包管理器中它可用但未安装。

但是在库路径中，在文件资源管理器中，包在那里，我无法删除它——即使 VS 已关闭，总是会收到该文件夹​​正在使用中的消息。我尝试将权限更改为完全控制，但仍然没有运气。

如果您对如何解决此问题有任何建议，请告诉我。非常感谢。

我刚刚部署了一个 Azure DSVM。但是，当我连接到它时，我只是黑屏。

知道发生了什么吗？

尝试在 Azure 深度学习 VM 上安装 pip 会出现此错误-

命令 python setup.py egg_info 的完整输出：