optimization - 函数的凸性及其优化

Question

函数在 x 和 y 中是共同凸的吗？我想要的是估计参数 x 和 y，以最小化最小二乘。如果函数在 x 和 y 上都是凸的，那么从技术上讲，我可以通过在 2 个步骤之间迭代来找到 x 和 y：在给定 y 的情况下找到最佳 x，在给定 x 的情况下找到最佳 y。

显然我知道我可能在多个层面上都错了。函数看起来是非凸的，因为有多个鞍点，即。所有 x=0 和 y=0。但是如果我有一个 y>0 的约束，这个问题就不再存在了。此外，即使函数是凸的，我也不确定迭代算法是否有效并收敛。

Answer 1

您可以计算 Hessian 并检查它是否是正定的。

Answer 2

凸优化问题被定义为具有凸目标、凸不等式约束和仿射等式约束。正如您所指出的，您的目标不是凸的，因此不是凸优化问题。这个问题似乎也没有得到充分说明。为什么不直接解决问题，将 sum_i (a_i - alpha* b_i)^2 over alpha 最小化？这个问题当然在 alpha 中是凸的，一旦你找到了 alpha，你可以继续选择任何 x 和 y，使得 x*y = alpha，尽管我承认不清楚你为什么要这样做