问题标签 [nvidia-digits]

我在 Digits 上训练了一个神经网络模型，它似乎在那里运行良好。
然后我导出了训练好的模型文件并将它们复制到另一个运行标准 caffe web 演示的系统中。我希望能够将这些文件插入并让它们在 Caffe 中运行，但我遇到了一个错误。

具体来说，我将模型复制到 bvlc_reference_caffenet.caffemodel 中，将 deploy.prototxt 复制到 deploy.prototxt 中，将 mean.binaryproto 复制到 ilsvrc_2012_mean.npy 文件中。但是，当我尝试运行它时，它似乎不喜欢 mean.binaryproto 文件的格式，如错误消息所示：

我在这里做错了什么？在将它与 caffe 一起使用之前，我是否需要以某种方式处理来自 Digits 的 mean.binaryproto 文件？

不确定这是否是一个问题 - 但我一直在寻找几天，似乎无法弄清楚！

我尝试使用数字单独分类的任何图像似乎都运行良好。但是，当使用“分类许多图像”按钮时，由于上述标题/错误/我什至不知道这是什么鬼，网络崩溃了。

我对 caffe 和 DIGITS 完全陌生，正如我所说，我花了几天时间在谷歌上搜索这个问题 - 似乎无法弄清楚。图像上的第 5 维是什么，如果我确实有 5D 图像，我如何将它们转换为 4D？

我正在尝试在 DIGITS 中建立模型。我只使用 CPU 来进行学习。但是，虽然我没有使用 GPU，但我得到了一个 CUDA 驱动程序版本错误。这个问题可能是什么？我在下面附上了我的solver.prototxt。

我需要将图像分类为 2000 个类别之一。

我正在使用 Nvidia DIGITS + caffe (GoogLeNet) 并为每个类提供 10K 样本（因此有高达 2000 万张图像，~1Tb 数据！）。但是数据准备（“创建数据库”）任务本身估计为 102 天，如果该估计是正确的，我不禁想到实际的训练时间会是多少。

应对这一挑战的最佳方法是什么？我应该将数据集分解为 3-4 个模型吗？并分别使用它们？使用较小的数据集并降低准确性的风险？别的东西？

感谢您帮助新手。

背景：

我希望同时使用Caffe和Digits，这样我就可以在 Digits 框架内或外部使用 Caffe。

但是，对于一个特定的项目，我要求 Caffe 使用 OpenCV 3 而不是 OpenCV 2.4，Digits 默认安装它。本项目使用 Digits 外部的 Caffe，不使用 Digits 框架。

看来，通过安装 Digits，我的 OpenCV 3 安装被 OpenCV 2.4 “破坏”，这现在导致我原来的 Caffe 安装出现问题。

为了让事情更清楚，下面列出了我已采取的步骤。

从全新的 Ubuntu 14.04 安装：

1. 根据Ubuntu 安装指南安装 Caffe 依赖项（OpenCV 除外）
2. 将 OpenCV 3 从源安装到/usr/local
3. 测试OpenCV安装
   • 演示工作正常，包括 OpenCV 3 特定代码
4. 编译的 Caffe，设置Makefile.config为使用 OpenCV 3
5. 经过测试的 Caffe 安装
   • 所有测试均通过，演示运行良好
6. 根据安装指南安装的数字
   • 安装程序脚本默认安装 Caffe 和 OpenCV 2.4
   • OpenCV 3 被 OpenCV 2.4 破坏（？）
7. 执行 Digits入门指南中的步骤
   • 所有步骤都成功
8. 怀疑OpenCV冲突，所以尝试编译一个Caffe demo
   • 发生与 OpenCV 3.0 和 2.4 冲突有关的错误——详情如下。

编译命令：

g++ 分类.cpp -o 分类 -I/home/josh/software/caffe/include/ -L/home/josh/software/caffe/build/lib/ -lcaffe -I/usr/local/cuda/include -L/ usr/local/cuda/lib64 -lcuda -lcudart -lcublas -lcurand -I/home/josh/software/cudnn/include/ -L/home/josh/software/cudnn/lib64/ -lcudnn -L/usr/lib/ x86_64-linux-gnu/ -lglog -L/usr/local/lib -lboost_system -lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_imgcodecs -DUSE_OPENCV

错误信息：

/usr/bin/ld: 警告：/home/josh/software/caffe/build/lib//libcaffe.so 需要的 libopencv_core.so.3.0，可能与 libopencv_core.so.2.4 冲突 /usr/bin/ld: /tmp/ccHaWcOl.o：未定义对符号'_ZN2cv6String10deallocateEv'的引用//usr/local/lib/libopencv_core.so.3.0：添加符号时出错：命令行collect2中缺少DSO：错误：ld返回1退出状态

问题：

1. 如何在不破坏 Caffe/Digits 安装的情况下最好地解决 OpenCV 版本冲突？
2. 我是否需要删除 OpenCV 并重新安装 Caffe 和 Digits？
   • 如果是这样，我需要做些什么来防止 OpenCV 版本冲突，同时仍然允许 Caffe（使用 OpenCV 3）和 Digits 并排工作？

有没有一种简单的方法（例如，不修改caffe代码）将 wights 从多个预训练网络加载到一个网络中？该网络包含一些与两个预训练网络具有相同维度和名称的层。

我正在尝试使用 NVidia DIGITS 和 Caffe 来实现这一目标。

编辑：我认为不可能直接从 DIGITS 执行此操作，正如答案所证实的那样。谁能建议一种简单的方法来修改 DIGITS 代码以便能够选择多个预训练网络？我检查了一下代码，并认为培训脚本是一个很好的起点，但我对 Caffe 没有深入的了解，所以我不确定实现这一目标的最佳/最快方法是什么.

我正在尝试DIGITS从前端 Android 移动应用程序调用正在运行的实例。

DIGITS 提供了一个REST API所以 curl 命令将是：

重要的是要提到 curl 工具multipart/form-data根据RFC 2388. 这可以上传二进制文件等。

许多人使用 AndroidVolley进行HTTP POST传输，但是对于多部分/表单数据，应该编写自定义请求，这变得很复杂。我希望将参数名称/值发送到服务器，其中值可以是图像或字符串。到目前为止，我已经尝试调整[这里]和[这里]建议的解决方案，但没有弄清楚如何将名称/值发送到服务器。

调整这些答案或建议一些更新的库会很棒。

我是机器学习的新手。我一直在用 NVIDIA Digits 来训练一个新的数据集。然而，我的数据集太不准确了，我认为这是因为图像中的背景太多，以至于它对实际对象是什么感到困惑。我的问题：

有没有办法（可能使用 RCNN）裁剪背景，然后使用裁剪后的图像进行训练？对象是一致的（例如只有一个对象，例如一个单独的人，但背景中可能有人）并且始终是独立的。

在最近的一次讨论中，我发现 deploy.prototxt 的某些部分之所以存在，只是因为它们是直接从 train_test.prototxt 复制而来的，并且在测试期间被忽略了。例如：

有人告诉我，包含 LR 作为偏差的权重部分在部署文件中没有用，可以删除。这让我想到，convolution_param 部分是绝对需要的吗？如果是，我们是否还需要定义权重和偏置填充器，因为我们只会使用这个文件进行测试，并且填充器仅在我们需要训练网络时才被初始化。有没有其他不必要的细节？

I am using Nvidia Digits Box with GPU (Nvidia GeForce GTX Titan X) and Tensorflow 0.6 to train the Neural Network, and everything works. However, when I check the Volatile GPU Util using nvidia-smi -l 1, I notice that it's only 6%, and I think most of the computation is on CPU, since I notice that the process which runs Tensorflow has about 90% CPU usage. The result is the training process is very slow. I wonder if there are ways to make full usage of GPU instead of CPU to speed up the training process. Thanks!