问题标签 [conv-neural-network]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
302 浏览

neural-network - 使用神经网络进行数据处理

也许与这个问题有关,但我的目标是让网络对输入图像执行操作并输出结果图像数据。

如果这个问题不清楚,我很乐意在评论中深入研究我的问题的细节。但是,我会尽量不针对具体情况,以便让其他人使用这个问题。

问题

我有大量的训练数据,由建议的操作前后的图像组成。我的问题与如何使用 Caffe 对每个像素进行 1 对 1 训练有关。我的损失应该采取计算两个图像之间差异的形式。

如果我有最后一个全连接/内积层输出channels * height * width,并且我有预期输出图像的标签(相同尺寸),我应该使用哪种类型的损失+精度结构?

我的情况

我尝试使用标签数据将内积数据简单地传递给 sigmoid 交叉熵损失,但这似乎不是受支持的方法。

我的标签是非整数值,因为它们是 0 到 1 之间的像素 RGB 数据(注意:我可以使用 0 到 255 形式的整数)并且 Caffe 似乎将标签解释为类别而不是简单值。

每个像素通道我可以有 255 个类别,但这将导致 255 * 3 个通道 * 256 高度 * 256 宽度 = 50,135,040 个类别,这使我想要实现的目标过于复杂化了。

我的问题

  • Caffe 本身是否支持我想要实现的目标?
    • 如果是这样,我应该如何改变我的结构以符合这些规范?
    • 如果没有,是否有任何其他神经网络框架(例如 Torch)支持这一点?
  • 是否有我试图用我的网络解决的问题类型的名称(当然不是分类分类)?
    • 过去使用什么来解决此类问题?

具有潜在价值的来源

0 投票
1 回答
1901 浏览

neural-network - Caffe:带温度的 Softmax

我正在努力实施 Hinton 的知识蒸馏论文。第一步是存储温度较高的“笨重模型”的软目标(即我不需要训练网络,只需要对每个图像进行前向传递并存储具有温度的软目标T)。
有没有办法获得 Alexnet 或 googlenet 软目标的输出但温度不同?
我需要修改 soft-max pi= exp(zi/T)/sum(exp(zi/T)
需要用一个温度来划分最终全连接层的输出T。我只需要这个来进行前传(而不是训练)。

0 投票
3 回答
173 浏览

deep-learning - CNN 有 2000 个课程?

我需要将图像分类为 2000 个类别之一。

我正在使用 Nvidia DIGITS + caffe (GoogLeNet) 并为每个类提供 10K 样本(因此有高达 2000 万张图像,~1Tb 数据!)。但是数据准备(“创建数据库”)任务本身估计为 102 天,如果该估计是正确的,我不禁想到实际的训练时间会是多少。

应对这一挑战的最佳方法是什么?我应该将数据集分解为 3-4 个模型吗?并分别使用它们?使用较小的数据集并降低准确性的风险?别的东西?

感谢您帮助新手。

0 投票
0 回答
196 浏览

image-processing - Caffe 对 Cohn-Kanade 数据集的配置

我正在尝试使用 Caffe 和Cohn-Kanade 数据库制作面部表情识别器。

这是我的火车 prototxt 配置:

这是我的训练功能,我从 lenet 示例中获得的:

我只使用中性和惊喜的面孔(如果我解决了我的问题,我会使用更多的情绪)。但我的网只有 28% 的准确率。我想知道网络配置中的问题、我的训练函数内部的逻辑或者我的训练数据库太小导致的低准确性?这是我的数据集描述:

训练数据集:56 张中性人脸图像。60 张惊喜面孔的图像。测试数据集:15 张中性人脸图像。15 张惊喜面孔的图像。

所有图像均为 32x32 且为灰度。我的 batch_size 是 32。

拜托,有人可以帮我知道我的问题是什么吗?

0 投票
1 回答
3845 浏览

machine-learning - What is batch size in Caffe or convnets

I thought that batch size is only for performance. The bigger the batch, more images are computed at the same time to train my net. But I realized, if I change my batch size, my net accuracy gets better. So I did not understand what batch size is. Can someone explain me what is batch size?

0 投票
1 回答
1780 浏览

neural-network - Caffe 中的标签作为图像

我是 Caffe 的新手。我正在尝试为语义分割实现全卷积神经网络 ( FCN-8s )。我有图像数据和标签数据,它们都是图像。这是针对像素级的预测。

我尝试使用 ImageData 作为数据类型,但它要求一个整数标签,这不适用于这种情况。请告知我如何给 Caffe 一个 2D 标签。我应该更喜欢 LMDB 而不是 ImageData?如果是这样,我该如何进行?对于这种情况,我找不到任何好的教程/文档。

0 投票
1 回答
1536 浏览

lua - 在 Torch 中可视化神经网络层,无需使用 itorch

我有一个带有几个卷积层的神经网络,我想可视化我正在创建的特征图。

我看过这篇文章: Visualize images in intermediate layers in torch (lua)

这建议使用 itorch,但它需要在我想避免的 itorch 笔记本中运行我的代码。

是否有任何其他 Torch 包可用于可视化卷积层?

编辑(有详细的解决方案):

由于我在网上找到的关于如何执行此操作的资源很少,因此我记录了我的完整解决方案并将其放在 Github 上。任何想在 Torch 中可视化神经网络的人都可以从这里开始!

https://github.com/egaebel/torch-neural-network-visualization

再次感谢 YuTse 提供的 gnuplot 技巧!

0 投票
4 回答
9613 浏览

machine-learning - 张量流模型动物园?

对我来说,caffe 的主要优势之一是可以在自由分布的预训练模型上进行迁移学习。

有没有地方可以从 tensorflow 格式的论文/竞赛中获得训练有素的模型?

如果没有,是否有可能将现有的 caffe(或任何其他)模型转换为 tensorflow 模型?

0 投票
1 回答
652 浏览

deep-learning - 生成用于训练 CNN 的“人造”图像

我正在尝试识别不同类型的车辆和徽标等。与该领域的大多数努力一样,挑战是缺乏训练图像。

有没有人尝试过生成人造图像?通过在(例如)汽车引擎盖、汽车后部“绘制”徽标并进行变形(例如改变颜色、形状等),以提供更多样化的训练集。

这种方法是否有指导方针和/或最佳实践?

编辑:投反对票的人,至少请评论你投反对票的原因,以便我学习。我不是想在这个论坛上拖钓,而是真诚地问一个问题。如果您不同意,请分享您的想法。

0 投票
1 回答
4143 浏览

tensorflow - 在张量流中使用两幅图像的平方差作为损失函数

我正在尝试使用两个图像之间的 SSD 作为我的网络的损失函数。

问题是,权重然后发散,我得到了错误

为什么?我确实尝试了一些其他的东西,比如通过图像大小规范化 ssd(不起作用)或将输出值裁剪为 1(不再崩溃,但我仍然需要对此进行评估):

我的观察结果符合预期吗?

编辑:@mdaoust 的建议被证明是正确的。要点是按批次大小进行标准化。这可以通过使用此代码独立于批量大小来完成

通过这种变化,只需要稍微降低学习率(至 0.0001)。