0

我想缩放模型输出并将其重新规范化以处理类不平衡问题。例如，如果我有 10 个标签的输出y_logits以及它们的 softmaxy_pred和先验p，那么新的输出应该是：

y_pred /= prior
y_pred /= sum(y_pred)

问题是softmax_cross_entropy_with_logitstensorflow 中的函数需要 logits y_logits，而我需要做这个缩放y_pred。知道如何在不自己实施交叉熵损失的情况下做到这一点吗？

4

1 回答 1

0

对于那些面临同样问题的人，我通过以数值稳定的方式重新实现 CE 找到了一个很好的解决方案。如果你想知道为什么你不应该直接实现 CE，因为它的方程表明，-∑ p_i log(q_i)请查看本教程。

我用来应用先验的实现如下：

def modified_CE(logits=None, labels=None, priors=None):
    # subtracting the maximum value to prevent inf results
    # you should change the shape of your logits based on your data
    scaled_logits = logits - tf.reshape(tf.reduce_max(logits,1),shape=(7500,1))
    # renormalize your logits as a finale step for the log softmax function
    normalized_logits = scaled_logits - tf.reshape(tf.reduce_logsumexp(scaled_logits,1),shape=(7500,1))

    # apply the priors
    normalized_logits -= tf.log(np.array(priors,dtype=np.float32))
    # renormalize 
    normalized_logits -= tf.reshape(tf.reduce_logsumexp(normalized_logits,1),shape=(7500,1))

    return tf.reduce_mean(-tf.reduce_sum(labels[0,:,:]*normalized_logits,1))
于 2018-02-24T00:27:59.037 回答