我误解了逻辑回归公式推导中最小值背后的想法。
这个想法是尽可能地增加假设（即正确的预测概率尽可能接近 1），这反过来又需要尽可能地最小化成本函数 $J(\theta)$。
现在有人告诉我，要让这一切发挥作用，成本函数必须是凸的。我对凸性的理解要求没有最大值，因此只能有一个最小值，即全局最小值。真的是这样吗？如果不是，请解释为什么不。此外，如果不是这种情况，那么这意味着成本函数中可能存在多个最小值，这意味着多组参数会产生越来越高的概率。这可能吗？或者我可以确定返回的参数是指全局最小值，因此是最高概率/预测？
我们使用凸成本函数这一事实并不能保证存在凸问题。
凸成本函数和凸方法之间存在区别。
您遇到的典型成本函数（交叉熵、绝对损失、最小二乘）被设计为凸的。
但是，问题的凸性还取决于您使用的 ML 算法的类型。
线性算法（线性回归、逻辑回归等）会给你凸解，也就是说它们会收敛。然而，当使用具有隐藏层的神经网络时，您不再保证得到凸解。
因此，凸性是描述您的方法的度量，而不仅仅是您的成本函数！
LR 是一种线性分类方法，所以每次使用它都应该得到一个凸优化问题！但是，如果数据不是线性可分的，它可能不会给出一个解决方案，在这种情况下它肯定不会给你一个好的解决方案。
是的，逻辑回归和线性回归旨在找到提高模型准确性的权重和偏差（或者说在测试数据或现实世界数据上以更高的概率工作）。为了实现这一点，我们尝试找到权重和偏差，以使预测和实际结果之间的偏差（比如成本）最小。所以，如果我们绘制成本函数并找到它的最小值，那将达到同样的目的。因此，我们使用一种模型，使其成本函数具有一个局部最小值（即模型应该是凸的）