我有 3TB 数据集和 64GB RAM 以及一个 12 核 CPU 和一个 12GB GPU。想在这个数据集上训练一个深度学习模型。如何异步加载批次和训练模型?我想确保数据的磁盘负载不会阻止训练循环等待新批次加载到内存中。
我不依赖语言,最简单的库可以做到这一点而不会产生摩擦,但我更喜欢torch、pytorch、tensorflow 之一。
我有 3TB 数据集和 64GB RAM 以及一个 12 核 CPU 和一个 12GB GPU。想在这个数据集上训练一个深度学习模型。如何异步加载批次和训练模型?我想确保数据的磁盘负载不会阻止训练循环等待新批次加载到内存中。
我不依赖语言,最简单的库可以做到这一点而不会产生摩擦,但我更喜欢torch、pytorch、tensorflow 之一。
我们使用 Keras(tensorflow 后端)以上述@mo-hossny 的方式(不是“绑定到 Imagenet 文件夹结构”)解决了这个问题,并在此处详细描述了它。
对此的简要总结:大多数 ML 教程显示了一个目录结构,其中训练(和测试)示例的类由子目录隐含。例如,您可能会看到子目录和文件,例如data/train/cats/???.png
anddata/train/dogs/???.png
等。
相反,如果你创建一个简单的 Pandas DataFrame 来保存每个训练/测试样本的唯一 ID、类标签和文件路径,那么你可以在每个 epoch 开始时打乱这个 DataFrame,以小批量循环它并使用生成器将每个块发送到 GPU。在后台,CPU 保持块队列已满,待其完成当前批次后立即将每个后续块发送到 GPU。
这种 DataFrame 的一个例子是:
df
object_id bi multi path
index
0 461756 dog white /path/to/imgs/756/61/blah_461756.png
1 1161756 cat black /path/to/imgs/756/61/blah_1161756.png
2 3303651 dog white /path/to/imgs/651/03/blah_3303651.png
3 3367756 dog grey /path/to/imgs/756/67/blah_3367756.png
4 3767756 dog grey /path/to/imgs/756/67/blah_3767756.png
5 5467756 cat black /path/to/imgs/756/67/blah_5467756.png
6 5561756 dog white /path/to/imgs/756/61/blah_5561756.png
7 31255756 cat grey /path/to/imgs/756/55/blah_31255756.png
8 35903651 cat black /path/to/imgs/651/03/blah_35903651.png
9 44603651 dog black /path/to/imgs/651/03/blah_44603651.png
10 49557622 cat black /path/to/imgs/622/57/blah_49557622.png
11 58164756 dog grey /path/to/imgs/756/64/blah_58164756.png
12 95403651 cat white /path/to/imgs/651/03/blah_95403651.png
13 95555756 dog grey /path/to/imgs/756/55/blah_95555756.png
我已经包含了问题的二项式和多项式版本的标签,确实证明了相同的 DataFrame 和文件可以用于不同的分类设置。
一旦你完成了这个,Keras 生成器代码就非常简短和甜蜜:
train_generator = generator_from_df(df, batch_size, target_size)
其中 df 类似于我上面的示例,并且在此处定义了函数 generator_from_df() 。它只是以给定大小的块循环遍历df;读取、规范化和连接块行中指定的像素数据;最后产生(因此生成器)X(像素)和 Y(标签)数据。它的核心非常类似于:
i, j = 0, batch_size
for _ in range(nbatches):
sub = df.iloc[i:j]
X = np.array([
(2 *
(img_to_array(load_img(f, target_size=target_size))
/ 255.0 - 0.5))
for f in sub.imgpath])
Y = sub.target.values
yield X, Y
i = j
j += batch_size
count += 1
请注意帖子中的参考资料和代码:我们在 Keras 页面和 Stackoverflow 上汇总了其他人的有用提示。
如果您不想被绑定到 Imagenet 文件夹结构,您几乎可以在每个框架中开发自己的数据加载器。pytorch 示例代码可在https://stackoverflow.com/a/45102798/7387369获得。它在训练时加载下一批。将 num_workers 设置为并行运行的线程数。
您是否尝试过任何可用的 Imagenet 代码?
准备指定格式的数据。
这些不是你要找的吗?