0

我正在 azure ML 管道上训练图像分割模型。在测试步骤中，我将模型的输出保存到关联的 blob 存储中。然后我想找到计算输出和基本事实之间的 IOU（联合交集）。这两组图像都位于 blob 存储上。但是，IOU 计算非常慢，而且我认为它是磁盘绑定的。在我的 IOU 计算代码中，我只是加载了两个图像（注释掉了其他代码），但每次迭代需要将近 6 秒，而训练和测试速度足够快。

这种行为正常吗？如何调试此步骤？

4

1 回答 1

3

有关 AzureML 远程运行可用的驱动器的一些说明：

这是我df在远程运行时看到的内容（在这一次中，我使用的是 blob Datastorevia as_mount()）：

Filesystem                             1K-blocks     Used  Available Use% Mounted on
overlay                                103080160 11530364   86290588  12% /
tmpfs                                      65536        0      65536   0% /dev
tmpfs                                    3568556        0    3568556   0% /sys/fs/cgroup
/dev/sdb1                              103080160 11530364   86290588  12% /etc/hosts
shm                                      2097152        0    2097152   0% /dev/shm
//danielscstorageezoh...-620830f140ab 5368709120  3702848 5365006272   1% /mnt/batch/tasks/.../workspacefilestore
blobfuse                               103080160 11530364   86290588  12% /mnt/batch/tasks/.../workspaceblobstore

有趣的项目是overlay、/dev/sdb1和：//danielscstorageezoh...-620830f140abblobfuse

  1. overlay并且/dev/sdb1都是机器上本地 SSD的挂载（我使用的是具有 100GB SSD 的 STANDARD_D2_V2）。
  2. //danielscstorageezoh...-620830f140ab是包含项目文件（您的脚本等）的Azure 文件共享的挂载。它也是您运行的当前工作目录。
  3. blobfuse是我在Estimator执行运行时请求安装的 blob 存储。

我很好奇这三种驱动器之间的性能差异。我的迷你基准测试是下载并提取此文件： http: //download.tensorflow.org/example_images/flower_photos.tgz（它是一个 220 MB 的 tar 文件，包含大约 3600 个 jpeg 鲜花图像）。

结果如下：

Filesystem/Drive         Download_and_save       Extract
Local_SSD                               2s            2s  
Azure File Share                        9s          386s
Premium File Share                     10s          120s
Blobfuse                               10s          133s
Blobfuse w/ Premium Blob                8s          121s

总之，在网络驱动器上写入小文件要慢得多，因此tempfile如果您要写入较小的文件，强烈建议使用 /tmp 或 Python。

作为参考，这里是我运行测量的脚本：https ://gist.github.com/danielsc/9f062da5e66421d48ac5ed84aabf8535

这就是我运行它的方式：https ://gist.github.com/danielsc/6273a43c9b1790d82216bdaea6e10e5c

于 2019-09-17T15:56:27.297 回答