我正在用 caffe 进行深度学习，并以 HDF5 格式生成我自己的数据集。我有 131 976 张图像，所有 224x224 大小约为 480MB，每个图像都有一个 1x6 数组作为标签。我发现当我生成 .h5 文件时，它们每个都达到 5GB，总共 125GB。我只是想确保这是预期的。我检查了内容，但我不明白内存需求是如何增加 250 倍的。我所做的只是填充 numpy 数组 X 和 Y 并创建数据集（总共 25 个）。
with h5py.File('/media/joe/SAMSUNG/GraspingData/HDF5/train'+str(j)+'.h5','w') as H:
H.create_dataset( 'graspData', data=X) # note the name - give to layer
H.create_dataset( 'graspLabel', data=Y)