问题标签 [conv-neural-network]

也许与这个问题有关，但我的目标是让网络对输入图像执行操作并输出结果图像数据。

如果这个问题不清楚，我很乐意在评论中深入研究我的问题的细节。但是，我会尽量不针对具体情况，以便让其他人使用这个问题。

问题

我有大量的训练数据，由建议的操作前后的图像组成。我的问题与如何使用 Caffe 对每个像素进行 1 对 1 训练有关。我的损失应该采取计算两个图像之间差异的形式。

如果我有最后一个全连接/内积层输出channels * height * width，并且我有预期输出图像的标签（相同尺寸），我应该使用哪种类型的损失+精度结构？

我的情况

我尝试使用标签数据将内积数据简单地传递给 sigmoid 交叉熵损失，但这似乎不是受支持的方法。

我的标签是非整数值，因为它们是 0 到 1 之间的像素 RGB 数据（注意：我可以使用 0 到 255 形式的整数）并且 Caffe 似乎将标签解释为类别而不是简单值。

每个像素通道我可以有 255 个类别，但这将导致 255 * 3 个通道 * 256 高度 * 256 宽度 = 50,135,040 个类别，这使我想要实现的目标过于复杂化了。

我的问题

• Caffe 本身是否支持我想要实现的目标？
  • 如果是这样，我应该如何改变我的结构以符合这些规范？
  • 如果没有，是否有任何其他神经网络框架（例如 Torch）支持这一点？
• 是否有我试图用我的网络解决的问题类型的名称（当然不是分类分类）？
  • 过去使用什么来解决此类问题？

具有潜在价值的来源

• 训练超分辨率图像升级
• Karol Gregor 关于变分自动编码器和图像生成（与模型重建相关性较低）

我正在努力实施 Hinton 的知识蒸馏论文。第一步是存储温度较高的“笨重模型”的软目标（即我不需要训练网络，只需要对每个图像进行前向传递并存储具有温度的软目标T）。
有没有办法获得 Alexnet 或 googlenet 软目标的输出但温度不同？
我需要修改 soft-max pi= exp(zi/T)/sum(exp(zi/T)。
需要用一个温度来划分最终全连接层的输出T。我只需要这个来进行前传（而不是训练）。

我需要将图像分类为 2000 个类别之一。

我正在使用 Nvidia DIGITS + caffe (GoogLeNet) 并为每个类提供 10K 样本（因此有高达 2000 万张图像，~1Tb 数据！）。但是数据准备（“创建数据库”）任务本身估计为 102 天，如果该估计是正确的，我不禁想到实际的训练时间会是多少。

应对这一挑战的最佳方法是什么？我应该将数据集分解为 3-4 个模型吗？并分别使用它们？使用较小的数据集并降低准确性的风险？别的东西？

感谢您帮助新手。

我正在尝试使用 Caffe 和Cohn-Kanade 数据库制作面部表情识别器。

这是我的火车 prototxt 配置：

这是我的训练功能，我从 lenet 示例中获得的：

我只使用中性和惊喜的面孔（如果我解决了我的问题，我会使用更多的情绪）。但我的网只有 28% 的准确率。我想知道网络配置中的问题、我的训练函数内部的逻辑或者我的训练数据库太小导致的低准确性？这是我的数据集描述：

训练数据集：56 张中性人脸图像。60 张惊喜面孔的图像。测试数据集：15 张中性人脸图像。15 张惊喜面孔的图像。

所有图像均为 32x32 且为灰度。我的 batch_size 是 32。

拜托，有人可以帮我知道我的问题是什么吗？

I thought that batch size is only for performance. The bigger the batch, more images are computed at the same time to train my net. But I realized, if I change my batch size, my net accuracy gets better. So I did not understand what batch size is. Can someone explain me what is batch size?

我是 Caffe 的新手。我正在尝试为语义分割实现全卷积神经网络 ( FCN-8s )。我有图像数据和标签数据，它们都是图像。这是针对像素级的预测。

我尝试使用 ImageData 作为数据类型，但它要求一个整数标签，这不适用于这种情况。请告知我如何给 Caffe 一个 2D 标签。我应该更喜欢 LMDB 而不是 ImageData？如果是这样，我该如何进行？对于这种情况，我找不到任何好的教程/文档。

我有一个带有几个卷积层的神经网络，我想可视化我正在创建的特征图。

我看过这篇文章： Visualize images in intermediate layers in torch (lua)

这建议使用 itorch，但它需要在我想避免的 itorch 笔记本中运行我的代码。

是否有任何其他 Torch 包可用于可视化卷积层？

编辑（有详细的解决方案）：

由于我在网上找到的关于如何执行此操作的资源很少，因此我记录了我的完整解决方案并将其放在 Github 上。任何想在 Torch 中可视化神经网络的人都可以从这里开始！

https://github.com/egaebel/torch-neural-network-visualization

再次感谢 YuTse 提供的 gnuplot 技巧！

对我来说，caffe 的主要优势之一是可以在自由分布的预训练模型上进行迁移学习。

有没有地方可以从 tensorflow 格式的论文/竞赛中获得训练有素的模型？

如果没有，是否有可能将现有的 caffe（或任何其他）模型转换为 tensorflow 模型？

我正在尝试识别不同类型的车辆和徽标等。与该领域的大多数努力一样，挑战是缺乏训练图像。

有没有人尝试过生成人造图像？通过在（例如）汽车引擎盖、汽车后部“绘制”徽标并进行变形（例如改变颜色、形状等），以提供更多样化的训练集。

这种方法是否有指导方针和/或最佳实践？

编辑：投反对票的人，至少请评论你投反对票的原因，以便我学习。我不是想在这个论坛上拖钓，而是真诚地问一个问题。如果您不同意，请分享您的想法。

我正在尝试使用两个图像之间的 SSD 作为我的网络的损失函数。

问题是，权重然后发散，我得到了错误

为什么？我确实尝试了一些其他的东西，比如通过图像大小规范化 ssd（不起作用）或将输出值裁剪为 1（不再崩溃，但我仍然需要对此进行评估）：

我的观察结果符合预期吗？

编辑：@mdaoust 的建议被证明是正确的。要点是按批次大小进行标准化。这可以通过使用此代码独立于批量大小来完成

通过这种变化，只需要稍微降低学习率（至 0.0001）。