machine-learning - 如何找到非凸函数的代理项

Question

我正在学习排名。我发现某些损失函数（例如 0/1 损失）不能直接最小化为非凸或不连续等。这在其他损失函数的情况下也是如此。

因此研究人员使用了另一种称为“凸代理”的损失函数，它“限制”了 0/1 类型的损失，他们试图最小化损失函数的代理以找到参数（如果我理解正确的话）。

我的问题是，在给定非凸损失函数的情况下，找到代理函数的过程是什么？

我可以在哪里阅读我有一个非凸损失函数的步骤，并且我想设置它的代理损失？

还有我怎么知道某些函数是 0/1 损失的上限。

以及如何提出这个界限？

Answer 1

设计好的代理函数是一个研究课题，因为定义这样的函数实际上导致了新机器学习模型的构建。这样做没有“规则”——这就是研究的意义所在。从实际的角度来看，您应该探索许多现有的功能，因为它们不仅仅是“流行的”——它们只是很好、很好理解和有用的。

以及如何检查损失函数是否限制了您当前的损失函数？你提供了一个数学证明。你有真正的损失l(x,y,p)和一个代理人s(x,y,p)，你所要做的就是证明这一点l(x,y,p)<=s(x,y,p)，所以你提供了不平等的证明。同样，没有一个规则，这只是应用数学，分析 101。