machine-learning - 深度学习技术（DNN、DBN、...）在实践中的速度有多快？

Question

深度学习技术（深度神经网络、深度信念网络、深度堆叠网络……）在某些领域非常有效。他们需要很长时间来训练，但这是唯一一次的成本。

我阅读了几篇关于不同技术的论文，它们只关注准确性和训练它们的时间。一旦受过训练，他们在实践中产生答案的速度有多快？

是否有一些数据可用于对可能具有数百万个参数的深度网络进行基准测试？

我认为它们的速度非常快，因为所有权重都是固定的，但是由于函数可能非常复杂且参数数量非常多，我不确定它们在实践中的实际表现如何。

Answer 1

速度很大程度上取决于网络的大小。假设您的网络是密集的前馈网络，网络的每一层都由一个（通常是非常矩形的）矩阵表示。通过网络推送输入需要矩阵向量积。因此，如果您有一个 8 层的网络，它将带您 8 个矩阵产品。每个需要多长时间取决于数据集的原始维度和所述层的大小。