0

我一直在阅读有关SRCNN的文章,发现他们正在使用“反向传播的数量”来评估网络的性能,即在 x 个反向传播之后网络能够学习什么(据我所知)。我想知道反向道具的数量实际上意味着多少。这只是训练期间使用的训练数据样本的数量吗?或者可能是小批量的数量?也许它是前面的数字之一乘以网络中可学习参数的数量?还是完全不同的东西?也许还有一些其他更常见的名称,我可以在某个地方循环并阅读更多关于它的信息,因为我无法通过搜索“反向传播数量”或“反向传播数量”找到任何有用的东西?

额外的问题:这个指标的使用范围有多广,它有多好?

4

2 回答 2

1

我从 2016 年开始阅读他们的论文:

  • 作者={C。Dong 和 CC Loy 以及 K. He 和 X. Tang},
  • journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  • title={使用深度卷积网络的图像超分辨率},

由于他们甚至没有提到批次,我认为他们正在执行反向传播以在每个样本/图像之后更新其权重。

换句话说,它们的批大小(mini-batchsize)等于 1 个样本。

所以反向传播的数量毕竟意味着批次的数量,这是一个很常见的指标,即。在论文 PSNR (loss) over the amount of batchs (或通常loss over epochs ) 中。

额外的问题:我得出的结论是他们只是没有坚持机器学习或深度学习的通用词库。

BonusBonus 问题:他们使用 n 个批次后的损失度量来展示不同的网络架构可以在不同大小的训练数据集上学习多少。

于 2018-03-19T19:25:57.590 回答
0

我会假设这意味着网络在反向传播 n 次后学到了多少。它更有可能与“在训练 n 个样本后……”互换。

如果他们使用循环网络,这可能会有点不同,因为他们可以在 forward prop 中运行更多样本,然后在 backprop 中运行。(无论出于何种原因,我都无法获得要加载的论文的链接,所以不确定)。

根据您提出的问题数量,我认为您可能想多了:)

反向传播的数量不是常用的指标。也许他们在这里使用它来展示基于他们使用的任何优化方法的训练速度。但对于最常见的情况,它不是一个相关的指标。

于 2018-01-08T05:03:43.047 回答