deep-learning - 计算 Caffe CNN 架构中的乘加运算 (MAC) 的数量

Question

最近我一直在对一些 CNN 进行关于时间、乘加运算 (MAC) 数量、参数数量和模型大小的基准测试。我已经看到了一些类似的 SO 问题（here和here），在后者中，他们建议使用Netscope CNN Analyzer。这个工具允许我通过输入我的 Caffe 网络定义来计算我需要的大部分东西。

但是，我在论文和互联网上看到的某些架构的乘加操作的数量与 Netscope 输出的不匹配，而其他架构则匹配。我总是将 FLOPs 或 MAC 与 netscope 中的 MACC 列进行比较，但在某些时候我忘记了大约 10 倍的因素（查看下表了解更多详细信息）。

Architecture  ----  MAC (paper/internet) ---- macc column in netscope
VGG 16                    ~15.5G                       ~157G
GoogLeNet                 ~1.55G                       ~16G

Netscope 中有关GoogLeNet macc 编号和VGG16 macc 编号的参考。

使用该工具的人是否可以指出我在阅读 Netscope 输出时犯了什么错误？

Answer 1

我找到了导致 Netscope 与我在论文中找到的信息之间存在差异的原因。Nestcope 中的大多数预设架构都使用 10 的批量大小（例如VGG和GoogLeNet就是这种情况），因此 x10 因子乘以多加操作的数量。