python - 当我没有足够的内存来加载所有训练数据时如何在 Keras 中训练

Question

我想在 Keras 中训练我的模型，因此尝试将图像加载为 numpy 数组并调整它们的大小，但它失败了，因为我没有足够的内存。

当我通过 img/255 标准化图像时出现 MemoryError

我的任务是语义分割。我有两个文件夹。一个用于输入图像，另一个用于所需的输出图像。相应的图像具有相同的名称。

Keras 中有有用的 API 吗？

Answer 1

是的，您应该使用生成器和fit_generator使用它进行训练的函数。基本上在生成器函数中，您在如何加载数据和数量方面有很大的自由度，因此您可以在模型训练时加载数据，并且一次只在内存中保留一批数据（加上使用的队列由 Keras）。

Answer 2

对于预处理部分：是否可以选择小批量加载图像，进行预处理并将它们再次保存在一个文件中？通常在预处理之后，图像应该更小，甚至可能小到足以完全加载到内存中进行训练。

此外，您可以使用模型API 中的 train_on_batch 或 fit_generator 函数。然后，您可以训练图像，而无需同时将它们全部放在内存中。