machine-learning - 回归中的局部和全局基函数有什么区别？

Question

对于一些基函数的回归，我读到高斯基函数是局部的，而多项式基函数是全局的。这是什么意思 ？

谢谢

Answer 1

高斯以某个值为中心，当您远离它时逐渐减小到 0。相反，多项式延伸到整个范围。

这意味着高斯将模拟数据的局部特征（如隆起或山谷），而多项式将模拟数据中的全局模式（例如，整体下降或上升趋势）。

Answer 2

局部基函数（您也经常会看到称为紧支撑基函数）仅在特定区间上本质上是非零的。用于近似/回归的此类函数的示例是 B 样条曲线、小波等。另一方面，多项式除了根以外的任何地方都是非零的。考虑使用单项式基础的最小二乘回归曲线 - 您得到的范德蒙德矩阵不会表现出任何类型的结构 - 如果 x=0，则元素只能为零。现在假设您尝试使用具有固定节点的 BSpline 曲线来解决相同的问题。现在，由于基函数是局部的，您的矩阵将是带状的 - 每行将包含零项，因为基函数的效果仅存在于某个间隔上。