gpu - 如何将（pytorch）更大的数据集加载到 GPU 并进行小批量训练？

Question

众所周知，批量大小会影响训练的准确性。（更小的批量大小与更高的acc。）。但是使用更小的批量大小也意味着更长的训练时间。假设 GPU 中有更大的内存（例如 Nvidia RTX 2080，GPU 上有 8GB 内存）。有没有办法将更大的数据大小加载到 GPU 中并使用更小的数据集进行训练，以最大限度地减少 CPU 和 GPU 之间的数据访问，同时通过 mini training batch 获得更好的精度？