0

我有相当少量的数据，所以我决定尝试交叉验证，以便获得所有数据的预测。像这样：

for train_index, test_index in KFold(9, shuffle = True, random_state = 42).split(range(len(df))):
    train_data, test_data = df[train_index], df[test_index]
    train_images, test_images = images[train_index], images[test_index]
    train_labels, test_labels = labels[train_index], labels[test_index]

    model.fit([train_data, train_images], train_labels, epochs = 100, batch_size = 5)

    model.predict([test_data, test_images])

据我了解，这样做每次都会训练一个新模型（总共 9 次）。但是，如果是这种情况，那么我的损失输出就没有意义了：在此处输入图像描述

顶部的灰色曲线是第一次迭代，它从接近 1 开始，然后下降。随后的迭代都显着降低。

我想了解我在这里做错了什么——我想全面训练新网络 9 次，然后每次都得到预测。

4

2 回答 2

1

调用model.fit时，参数估计将在停止的地方继续，所以你是对的，一旦你到达循环的第二次迭代，你将使用你在第一次迭代中取得的任何东西。

为避免这种情况，您需要在每次迭代之间重置模型的参数。一种方法是在每次迭代中简单地从头开始创建模型。唯一需要注意的是，默认情况下，权重是使用随机值初始化的（以避免目标的局部极值），因此如果您只是完全重新初始化模型，您将使用不同的随机起点。为避免这种情况，并确保每次迭代都使用相同的起点，您可以修复初始值（例如，通过修复随机种子），或者只使用 Keras 提供的内容，然后model.save在第一次之前使用迭代，并load_model在每次迭代开始时，即做相当于

from keras.models import load_model

model = ...
model.save('initial.h5')
for ... in KFold
    model = load_model('initial.h5')
    model.fit(...)
    model.predict(...)

不一定要担心这一点：您也可以简单地选择将随机初始化视为抽象统计模型的一部分，您试图估计其泛化误差，并对每次迭代的新起点感到满意。

于 2019-12-31T09:34:40.940 回答
0

除了@fuglede，我建议你validation_split在model.fit. 您不需要自己进行拆分。Keras 会处理这个问题。

于 2019-12-31T09:40:58.233 回答