我在思考 AI/机器学习和非线性激活函数之间的关系。我知道很多机器学习算法都使用线性代数，其中线性函数（即一个玩具示例：ax + by + cz = y）被分成一个矩阵，该矩阵由变量和等于 y 的参数向量组成。使用的函数始终是线性的，而线性代数，顾名思义，以线性概念为中心。
这与神经网络中的某些激活函数不是线性的，而是特别是非线性的这一事实有什么可比性？我们是否有必要对非线性激活函数进行推导以使其成为线性（因为对函数进行导数会导致切线/平面必然是线性的），这样这种向线性的转换将使与线性代数相当的激活函数？
正如您可能从上面收集到的那样，我对概念图有一些暗示，尽管我对技术细节没有足够的了解。有什么帮助吗？提前致谢 ：-）