deep-learning - Julia Flux 中的等效数据集

Question

我想使用 Flux 来训练音频文件的深度学习模型。在 Flux 文档中，他们将整个数据数组（包括所有示例）传递给数据加载器，该加载器将为train!()函数提供批处理列表。关键是我的系统中没有足够的内存来一次加载所有音频文件。

在 PyTorch 中，dataloader将由一个dataset对象提供，该对象具有在方法上一次打开一个文件的逻辑__getitem__()。

那么，在 Flux/Julia 中实现它的正确方法是什么，什么是 Torch 数据集等价物？

Answer 1

我在 Julia discourse forum 上找到了这个帖子，基本上涵盖了我在这个问题中提出的问题。

https://discourse.julialang.org/t/pytorch-dataloader-equivalent-for-training-large-models-with-flux/30763

从该主题的一些建议中，有一个包MLDataUtils.jl，它提供与nobs()和getobs()函数类似的功能。