optimization - 可微分的最大值和最小值

Question

我需要一个最大值和最小值的近似值。由于最大值和最小值不可微，我正在寻找一个可微的近似值。

有人知道吗？例如，我需要最小化以下内容：

[max (a - max_{x\in c}(x) )^2 + (a - max_{x\in d}(x) )^2]

Answer 1

Softmax函数是从向量到标量的可微映射，并且近似于最大值函数。

Answer 2

平滑最大值（和最小值）是一种候选：

sum(x * exp(alpha * x)) / sum(exp(alpha * x))

其中 alpha -> +Inf 收敛到最大值，而 alpha -> -Inf 收敛到最小值。

另一个是LogSumExp：

log(sum(exp(x)))

这是一个最大值。我想问一个最大的否定xs 应该给 min

论文多实例学习：算法和应用中提到了其他几个，例如广义均值、噪声或和“ISR”模型（因为它在“集成分割和识别”论文中有所描述）。