2

我对 ML 相当陌生，目前正在使用 tensorflow 和 keras 在 python 中实现一个简单的 3D CNN。我想根据 AUC 进行优化，并且还想在 AUC 分数方面使用提前停止/保存最佳网络。我一直在使用 tensorflow 的 AUC 函数，如下所示，它在训练中效果很好。但是，未保存 hdf5 文件（尽管检查点 save_best_only=True），因此我无法获得评估的最佳权重。

以下是相关的代码行：

model.compile(loss='binary_crossentropy',
              optimizer=keras.optimizers.Adam(lr=lr),
              metrics=[tf.keras.metrics.AUC()]) 

model.load_weights(path_weights)

filepath = mypath

check = tf.keras.callbacks.ModelCheckpoint(filepath, monitor=tf.keras.metrics.AUC(), save_best_only=True,
                                           mode='auto')

earlyStopping = tf.keras.callbacks.EarlyStopping(monitor=tf.keras.metrics.AUC(), patience=hyperparams['pat'],mode='auto') 

history = model.fit(X_trn, y_trn,
                        batch_size=bs,
                        epochs=n_epochs,
                        verbose=1,
                        callbacks=[check, earlyStopping],
                        validation_data=(X_val, y_val),
                        shuffle=True)

有趣的是，如果我只在早期停止和检查点更改 monitor='val_loss'（而不是 model.compile 中的 'metrics'），hdf5 文件会被保存，但显然在验证损失方面给出了最好的结果。我也尝试过使用 mode='max' 但问题是一样的。我非常感谢您的建议，或任何其他建设性的想法如何解决这个问题。

4

2 回答 2

4

事实证明，即使你添加了一个非关键字指标，当你想要监控它时，你仍然需要使用它的句柄来引用它。在您的情况下，您可以这样做：

auc = tf.keras.metrics.AUC()  # instantiate it here to have a shorter handle

model.compile(loss='binary_crossentropy',
              optimizer=keras.optimizers.Adam(lr=lr),
              metrics=[auc]) 

...

check = tf.keras.callbacks.ModelCheckpoint(filepath,
                                           monitor='auc',  # even use the generated handle for monitoring the training AUC
                                           save_best_only=True,
                                           mode='max')  # determine better models according to "max" AUC.

如果您想监控验证 AUC（这更有意义），只需val_在句柄的开头添加：

check = tf.keras.callbacks.ModelCheckpoint(filepath,
                                           monitor='val_auc',  # validation AUC
                                           save_best_only=True,
                                           mode='max')

另一个问题是您的 ModelCheckpoint 正在根据最小AUC 而不是您想要的最大值来保存权重。

这可以通过设置来改变mode='max'。

做什么mode='auto'？

此设置实质上检查监视器的参数是否包含'acc'并将其设置为最大值。在任何其他情况下，它会设置 uses mode='min'，这就是您的情况。

你可以在这里确认

于 2020-07-29T09:50:19.530 回答
0

Djib2011 发布的答案应该可以解决您的问题。我只是想解决提早停止的使用问题。通常，这用于在过度拟合开始导致损失增加时停止训练。我认为直接解决过度拟合问题会更有效，这应该可以让您实现更低的损失。您没有列出您的模型，因此不清楚如何解决过度拟合问题，但一些简单的指导方针如下。如果您在模型顶部有几个密集隐藏层，请删除其中大部分并保留最终的顶部密集层。模型越复杂，就越容易过度拟合。如果这导致训练精度降低，则保留这些层但添加 dropout 层。您也可以尝试在隐藏的密集层中使用正则化。我还发现使用回调 ReduceLROnPlateau 是有益的。

于 2020-07-29T16:40:01.730 回答