machine-learning - 计算人工神经网络权重矩阵的熵？

Question

有没有人遇到过计算多层感知器权重矩阵熵的方法？

Answer 1

评估多层感知器的权重矩阵，然后计算该矩阵的熵。

一种方法可以是矩阵的冯诺依曼熵。您可以在wikipedia上找到一般概述。 你也可以在这里寻找它的优化。

编辑：香农熵是冯诺依曼熵的一个特例。从香农熵开始，它易于理解并且最有可能满足您的需求。