optimization - 如何使用梯度下降优化非负约束

Question

我有以下形式的优化，

argmin_W f(W) st W_i > 0，对于所有 i

其中 W 是一个向量，f(W) 是 W 上的一个函数。我知道如何在没有非负约束的情况下进行优化。但我不确定如何使用梯度下降来优化它。

Answer 1

开集的优化非常棘手，所以让我们假设W_i >= 0，因此您可以使用多种方法：

• 在整个域上优化 f(|W|)
• 对 f(W) 使用 GD，但在每次迭代后将您的解决方案投影回域，所以把 W = |W|
• 使用约束优化技术，例如 L-BFGS-B

Answer 2

我认为没有一种通用且简单的方法可以做到这一点。您必须在每个点进行某种搜索，以确保满足约束条件（如线搜索、信任区域等技术）。

或者也许 f 有一些你可以利用的结构。