37

我试图用 Keras 实现加权二元交叉熵，但我不确定代码是否正确。训练输出似乎有点混乱。几个 epoch 之后，我的准确率只有 ~0.15。我认为那太少了（即使是随机猜测）。

一般来说，输出中大约有 11% 的 1 和 89% 的 0，因此权重为 w_zero=0.89 和 w_one=0.11。

我的代码：

def create_weighted_binary_crossentropy(zero_weight, one_weight):

    def weighted_binary_crossentropy(y_true, y_pred):

        # Original binary crossentropy (see losses.py):
        # K.mean(K.binary_crossentropy(y_true, y_pred), axis=-1)

        # Calculate the binary crossentropy
        b_ce = K.binary_crossentropy(y_true, y_pred)

        # Apply the weights
        weight_vector = y_true * one_weight + (1. - y_true) * zero_weight
        weighted_b_ce = weight_vector * b_ce

        # Return the mean error
        return K.mean(weighted_b_ce)

    return weighted_binary_crossentropy

也许有人看到出了什么问题？

谢谢

4

6 回答 6

23

您可以使用sklearn 模块自动计算每个类的权重，如下所示：

# Import
import numpy as np
from sklearn.utils import class_weight

# Example model
model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))

# Use binary crossentropy loss
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# Calculate the weights for each class so that we can balance the data
weights = class_weight.compute_class_weight('balanced',
                                            np.unique(y_train),
                                            y_train)

# Add the class weights to the training                                         
model.fit(x_train, y_train, epochs=10, batch_size=32, class_weight=weights)

请注意， 的输出class_weight.compute_class_weight()是一个像这样的 numpy 数组[2.57569845 0.68250928]：

于 2019-03-15T10:34:03.343 回答
22

通常，少数类将具有更高的类权重。使用会更好one_weight=0.89, zero_weight=0.11（顺便说一句，您可以使用class_weight={0: 0.11, 1: 0.89}，如评论中所建议的那样）。

在类别不平衡的情况下，您的模型看到的零比零多得多。它还将学习预测比 1 更多的零，因为这样可以最大限度地减少训练损失。这也是您看到接近 0.11 比例的准确度的原因。如果你对模型预测取平均值，它应该非常接近于零。

使用类权重的目的是改变损失函数，使训练损失不能通过“简单的解决方案”（即预测零）来最小化，这就是为什么最好使用更高的权重。

请注意，最佳权重不一定是 0.89 和 0.11。有时您可能不得不尝试取对数或平方根（或任何满足 的权重one_weight > zero_weight）来使其工作。

于 2017-09-02T15:07:02.443 回答
2

我认为在 model.fit 中使用类权重是不正确的。{0：0.11， 1：0.89}，这里的0是索引，不是0类。Keras文档：https: //keras.io/models/sequential/class_weight：可选字典将类索引（整数）映射到权重（浮点）值，用于加权损失函数（仅在训练期间）。这对于告诉模型“更加关注”来自代表性不足的类的样本很有用。

于 2017-11-15T01:09:23.897 回答
2

使用class_weightsinmodel.fit略有不同：它实际上是更新样本而不是计算加权损失。

我还发现，class_weights当作为 TFDataset 或生成器发送到 model.fitsample_weights时，TF 2.0.0 中会忽略和 。x我相信它在 TF 2.1.0+ 中已修复。

这是我的多热编码标签的加权二进制交叉熵函数。

import tensorflow as tf
import tensorflow.keras.backend as K
import numpy as np
# weighted loss functions


def weighted_binary_cross_entropy(weights: dict, from_logits: bool = False):
    '''
    Return a function for calculating weighted binary cross entropy
    It should be used for multi-hot encoded labels

    # Example
    y_true = tf.convert_to_tensor([1, 0, 0, 0, 0, 0], dtype=tf.int64)
    y_pred = tf.convert_to_tensor([0.6, 0.1, 0.1, 0.9, 0.1, 0.], dtype=tf.float32)
    weights = {
        0: 1.,
        1: 2.
    }
    # with weights
    loss_fn = get_loss_for_multilabels(weights=weights, from_logits=False)
    loss = loss_fn(y_true, y_pred)
    print(loss)
    # tf.Tensor(0.6067193, shape=(), dtype=float32)

    # without weights
    loss_fn = get_loss_for_multilabels()
    loss = loss_fn(y_true, y_pred)
    print(loss)
    # tf.Tensor(0.52158177, shape=(), dtype=float32)

    # Another example
    y_true = tf.convert_to_tensor([[0., 1.], [0., 0.]], dtype=tf.float32)
    y_pred = tf.convert_to_tensor([[0.6, 0.4], [0.4, 0.6]], dtype=tf.float32)
    weights = {
        0: 1.,
        1: 2.
    }
    # with weights
    loss_fn = get_loss_for_multilabels(weights=weights, from_logits=False)
    loss = loss_fn(y_true, y_pred)
    print(loss)
    # tf.Tensor(1.0439969, shape=(), dtype=float32)

    # without weights
    loss_fn = get_loss_for_multilabels()
    loss = loss_fn(y_true, y_pred)
    print(loss)
    # tf.Tensor(0.81492424, shape=(), dtype=float32)

    @param weights A dict setting weights for 0 and 1 label. e.g.
        {
            0: 1.
            1: 8.
        }
        For this case, we want to emphasise those true (1) label, 
        because we have many false (0) label. e.g. 
            [
                [0 1 0 0 0 0 0 0 0 1]
                [0 0 0 0 1 0 0 0 0 0]
                [0 0 0 0 1 0 0 0 0 0]
            ]



    @param from_logits If False, we apply sigmoid to each logit
    @return A function to calcualte (weighted) binary cross entropy
    '''
    assert 0 in weights
    assert 1 in weights

    def weighted_cross_entropy_fn(y_true, y_pred):
        tf_y_true = tf.cast(y_true, dtype=y_pred.dtype)
        tf_y_pred = tf.cast(y_pred, dtype=y_pred.dtype)

        weights_v = tf.where(tf.equal(tf_y_true, 1), weights[1], weights[0])
        ce = K.binary_crossentropy(tf_y_true, tf_y_pred, from_logits=from_logits)
        loss = K.mean(tf.multiply(ce, weights_v))
        return loss

    return weighted_cross_entropy_fn
于 2020-06-09T21:44:35.483 回答
1

您可以像这样计算权重并具有像这样的二进制交叉熵，它将以编程方式将 one_weight 设置为 0.11，将 one 设置为 0.89：

one_weight = (1-num_of_ones)/(num_of_ones + num_of_zeros)
zero_weight = (1-num_of_zeros)/(num_of_ones + num_of_zeros)

def weighted_binary_crossentropy(zero_weight, one_weight):

    def weighted_binary_crossentropy(y_true, y_pred):

        b_ce = K.binary_crossentropy(y_true, y_pred)

        # weighted calc
        weight_vector = y_true * one_weight + (1 - y_true) * zero_weight
        weighted_b_ce = weight_vector * b_ce

        return K.mean(weighted_b_ce)

    return weighted_binary_crossentropy
于 2020-10-16T03:09:27.510 回答
0

如果您需要具有与训练损失不同权重的加权验证损失，您可以使用 tensorflow.keras.model.fit() 的参数 validation_data 通过将验证数据集作为包含您的 Numpy 数组的元组每个样本的验证数据、标签和权重。

请注意，您必须使用此技术（此处按类别）将每个样本映射到其权重。

请点击此处的链接： https ://www.tensorflow.org/api_docs/python/tf/keras/Model#fit

张量流文档

于 2020-11-30T09:33:53.013 回答