neural-network - 任何函数都可以分解为高斯的总和吗？

Question

• 在傅里叶级数中，任何函数都可以分解为正弦和余弦之和
• 在神经网络中，任何函数都可以分解为逻辑函数的加权和。（一层神经网络）
• 在小波变换中，任何函数都可以分解为 Haar 函数的加权和

是否也有这种分解成高斯混合的性质？如果有，有证据吗？

Answer 1

如果总和允许是无限的，那么答案是肯定的。请参阅 Yves Meyer 的“小波与算子”一书，第 6.6 节，引理 10。

Answer 2

是的。将任何函数分解为任何类型的高斯函数的总和是可能的，因为它可以分解为狄拉克函数的总和:)（并且狄拉克是方差接近零 f 的高斯函数）

一些更有趣的问题是 1) 是否可以将任何函数分解为非零方差高斯的总和，具有给定的恒定方差，围绕不同的中心定义？2）是否可以将任何函数分解为非零方差高斯的总和，均以 0 为中心，但定义为交替方差？

不过，数学可能是回答这些问题的更好地方……

Answer 3

有一个定理，即Stone-Weierstrass 定理，它给出了函数族何时可以逼近任何连续函数的条件。你需要

• 函数代数（在加法、减法和乘法下闭合）

• 常数函数

• 并且您需要功能来分隔点：

  • （对于任何两个不同的点，您都可以找到为它们分配不同值的函数）

您可以用越来越宽的高斯近似一个常数函数。您可以将高斯时移到不同的点。所以如果你用高斯组成一个代数，你可以用它们逼近任何连续函数。