问题标签 [nvidia-digits]

I started to use AWS EC2 for deep learning and I'm going to use NVIDIA DIGITS. I already got a g3.4xlarge instance with 50G storage with I defined during creating instance process. Now my question is that if I upload my image's folder which is about 6GB and configure all DIGITS installation. Am I going to lose all the data and configuration after stopping my instance?

我制作了以下 python 层并将其添加到 LeNet 架构中。但是在构建模型时会出错。我将使用 Numpy 应用我的 Python 层，但是当我使用 OpenCV 时会出现错误。下面我从日志文件中添加我的代码和相应的错误。

错误消息：0812 06:41:53.452097 14355 net.cpp:723] 忽略源层训练数据 OpenCV 错误：在 cvtColor、文件 /build/opencv-SviWsf/ 中断言失败 (scn == 3 || scn == 4) opencv-2.4.9.1+dfsg/modules/imgproc/src/color.cpp，第 3737 行 Traceback（最近一次调用最后）：文件“/var/lib/digits/jobs/20170812-064148-f44d/digits_python_layers.py”，第 27 行，向前 top[0].data[ii, :, :, :] = doEqualizeHist(imin).transpose(2, 0, 1) 文件“/var/lib/digits/jobs/20170812-064148-f44d /digits_python_layers.py”，第 8 行，在 doEqualizeHist img = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY) cv2.error: /build/opencv-SviWsf/opencv-2.4.9.1+dfsg/modules/imgproc/src/color。 cpp:3737: 错误: (-215) scn == 3 || 函数 cvtColor 中的 scn == 4

编辑：发现问题。创建数据集时忘记添加自定义类。业余错误，但留给犯类似错误的其他人。

在成功学习了 NVIDIA 提供的 KITTI 教程后，我开始尝试在自己的数据集上运行 DIGITS。问题是，几乎在开始后，训练和验证的损失覆盖率几乎直接为零，损失为 10e-4。

这是作为时代函数的损失图片（帐户太新，无法嵌入图像）。

额外细节：

• 约 900 张训练图像和约 300 张验证图像（注意：我的一位朋友告诉我，他可以使用这个数据集，所以我不认为图像数量是问题）
• 这些图像非常简单，并且包含一个基本背景为普通背景的汽车模型。
• 我必须通过从训练数据中获取图像/标签来创建验证数据
• 我使用的模型是DIGITS 物体检测教程中提到的 DetectNet 模型。
• 我使用了本教程中提到的 GoogLeNet 预训练模型。

我尝试了什么：

• 更改超参数似乎无济于事
• 如前所述，运行模型超过 1 个 epoch 不会改变任何东西（损失覆盖率保持接近于零）

我正在寻找在 NVidia DIGITS 培训平台中运行的检测/定位 CNN。到目前为止，他们似乎只为此目的支持他们的自制 DetectNet。环顾四周，其他 SOTA 网络，如 faster-RCNN、SSD 和 YOLO 可能会在性能和准确性方面与 DetectNet 竞争，但看起来它们目前在 DIGITS 中没有任何支持。（Faster-RCNN 有一个相当流行的实现，但它用完了一个不受 DIGITS 支持的 Caffe 版本。）

如果有人通过 NVidia DIGITS 成功获得和使用 SOTA 检测网络，您介意提供相关链接/文档吗？

我想使用 Torch 进行培训。我有 LMDB 格式的图像数据，我已经使用 NVIDIA DIGITS (caffe) 完成了转换。如何将此 .lmdb 格式转换为 csv 或 .t7 以便在 Torch 中使用它？

我正在使用 NVIDIA DIGITS 进行图像分类。在我训练我的网络并在测试数据上测试模型之后，我想将 DIGITS 可以生成的可视化和统计数据保存在我定义的文件夹中。我该怎么做？

例如，如何将以下图像的每个图像方块分别保存在为此部分编写的程序中指定的文件夹中？

我使用 Nvidia DIGITS 训练了一个 LeNet-gray-28x28 图像检测 Tensorflow 模型，得到了我期望的结果。现在，我必须对 DIGITS 之外的一些图像进行分类，并且我想使用我训练过的模型。

所以我得到了 DIGITS 使用的 LeNet 模型，并创建了一个类来使用它：

我从 DIGITS 下载了我的模型，并使用（在另一个文件中）实例化它：

但是，当我启动我的脚本时，我得到了这些异常：

所以我使用https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/tools/inspect_checkpoint.py脚本来检查我的检查点包含的键名，我得到如下信息：

所以我重写了我的网络，手动添加了模型/前缀：

它修复了一些缺少键的警告，但是：

• 我觉得这不是解决问题的正确方法
• 我无法修复两个键：
  1. Global_Step（我的检查点中有一个 global_step 键）
  2. is_training（我不知道它是什么）

所以我的问题是：如何在我的网络中重新定义这些键名以匹配我在检查点中找到的那些？

我的 Linux 终端截图在这里

我的linux终端发生了什么，需要修改哪里？我在stackoverflow中找到了一些关于它的答案，但它不适合我

具体错误如下：

pytorch 中的代码在这里，我只使用了vgg19拱门。

为了使 cifar10 数据集在 caffe 和 pytorch 中预处理相同，我删除了main.pybut中的所有转换toTensor()。我发现 cifar10 数据集在 pytorch 中的范围是 [0,1]，而 caffe 是 [0,255]，所以我在下面缩放 1/255。取消任何额外的预处理以使事情变得更容易。

这是我的 caffe 网络定义 prototxt：

这是我的solver.prototxt

事实是pytorch可以以非常快的速度训练模型，一个epoch后的acc大约是20%，但是在caffe中损失总是在2.3XXX左右（大约-log（0.1），随机猜测损失），我怀疑它是因为初始化权重不同，所以我把caffe的filler.hppxavier改成了'efficient backprop'(即U(-std, std), std=1/(sqrt(fan_in)))，但是没有用。

现在，唯一的区别是偏差初始化方法，在pytorch中它使用权重的fan_in，但在caffe中我认为它使用output_num作为fan_in（因为它的形状是[1，N]，N是输出神经元的数量，并且在 fill.hpp 它使用 blob.count() / blob.num() 作为 xavier 的 fan_in ）。

谁能帮我 ？我认为如果所有配置都相同，训练过程几乎相同，但这打破了我的看法。

我想用 NVIDIA 数字的 caffe 在 mnist_generic 上实现自动编码器。我根据这里解释的方法制作了数据集： https ://github.com/NVIDIA/DIGITS/tree/master/examples/autoencoder

但我不想使用 Torch 或 Tensorflow 来构建自动编码器。我想用 Caffe 来做。

我使用了 caffe 中提供的 mnist_autoencoder 并在 DIGITS 中运行它。

但我收到如下错误：

当我删除一个层进行测试（架构中的第三层）时，我收到了这个错误：

这是自动编码器架构：

你知道我如何在 nvidia-digits 中使用 caffe 训练这个 mnist 自动编码器吗？