4

我正在尝试将使用 tensorflow 层编写的 CNN 转换为在 tensorflow 中使用 keras api（我正在使用 TF 1.x 提供的 keras api），并且在编写自定义损失函数来训练模型时遇到问题。

根据本指南，在定义损失函数时，它需要参数(y_true, y_pred) https://www.tensorflow.org/guide/keras/train_and_evaluate#custom_losses

def basic_loss_function(y_true, y_pred):
    return ...

但是，在我看到的每个示例中，y_true都与模型直接相关（在简单的情况下，它是网络的输出）。在我的问题中，情况并非如此。如果我的损失函数依赖于一些与模型张量无关的训练数据，如何实现这一点？

具体来说，这是我的问题：

我正在尝试学习在成对图像上训练的图像嵌入。我的训练数据包括图像对和图像对之间匹配点的注释（图像坐标）。输入特征只是图像对，网络是在孪生配置中训练的。

我能够使用 tensorflow 层成功地实现这一点，并使用 tensorflow 估计器成功地训练它。我当前的实现从一个大型的 tf 记录数据库构建一个 tf 数据集，其中的特征是一个包含图像和匹配点数组的字典。在我可以轻松地将这些图像坐标数组输入到损失函数之前，但目前尚不清楚如何执行此操作。

4

1 回答 1

7

我经常使用一种技巧，即通过Lambda层计算模型中的损失。（例如，当损失独立于真实数据，并且模型实际上没有要比较的输出时）

在功能 API 模型中：

def loss_calc(x):
    loss_input_1, loss_input_2 = x #arbirtray inputs, you choose
                                   #according to what you gave to the Lambda layer

    #here you use some external data that doesn't relate to the samples
    externalData = K.constant(external_numpy_data)


    #calculate the loss
    return the loss

使用模型本身的输出（损失中使用的张量）

loss = Lambda(loss_calc)([model_output_1, model_output_2])

创建输出损失而不是输出的模型：

model = Model(inputs, loss)

为编译创建一个虚拟 keras 损失函数：

def dummy_loss(y_true, y_pred):
    return y_pred #where y_pred is the loss itself, the output of the model above

model.compile(loss = dummy_loss, ....)

使用关于训练样本数量正确大小的任何虚拟数组，它将被忽略：

model.fit(your_inputs, np.zeros((number_of_samples,)), ...)

另一种方法是使用自定义训练循环。

不过，这是更多的工作。

尽管您TF1正在使用. ( )TF2tf.enable_eager_execution()

按照教程进行自定义训练循环：https ://www.tensorflow.org/tutorials/customization/custom_training_walkthrough

在这里，你可以自己计算梯度，任何你想要的结果。这意味着您不需要遵循 Keras 的培训标准。

最后，您可以使用您建议的方法model.add_loss。在这种情况下，您计算损失的方法与我在第一个答案中所做的相同。并将这个损失张量传递给add_loss。

您可能可以使用loss=Nonethen 编译模型（不确定），因为您将使用其他损失，而不是标准损失。

在这种情况下，您的模型的输出可能也是None如此，您应该适合y=None.

于 2020-02-06T20:03:04.720 回答