python - 使用 PIL (python) 将图像数据集加载到内存中会消耗太多内存

Question

我正在使用 Google Colab (13 Gb RAM)，我正在尝试将 8000 张 JPG 图片 (512x512) 加载到内存中，平均每张为 150Kb。

我预计所有这些将消耗不超过 1.5GB 的 RAM，但实际上消耗了所有这些，并且 Google Colab 崩溃了。

我错过了什么？

images = []
files = os.listdir(IMAGES_PATH)
for f in files:
  temp_image = Image.open(IMAGES_PATH + f)                
  temp = np.array(temp_image.convert('RGB'), dtype='float32') / 255
  images.append(temp)

Answer 1

您正在使用：

512*512*8000 这是您计算后得到的矩阵，浮点数使用 8kbytes，这意味着您的内存使用量为： 512*512*8000*8 = 11,11GB

您的图像的原始大小对于此计算无关紧要，python 将其存储在内存中。