machine-learning - 如果不是为了提高速度，那么减少 FLOP 和参数大小的目的是什么？

Question

CNN 算法如 DenseNet DenseNet强调参数效率，通常会导致更少的 FLOP。但是，我很难理解的是为什么这很重要。特别是对于 DenseNet，它的推理速度很慢。减少参数大小/FLOPs 的目的不是为了减少推理时间吗？这些优化是否还有另一个现实世界的原因，例如使用的能源可能更少？

Answer 1

总体推理时间与每个参数/FLOPs 训练效率之间存在差异。在训练中具有较低的参数/FLOP 并不能保证更高的推理速度。因为整体推理取决于架构和预测的计算方式。