artificial-intelligence - NVIDIA DIGITS 中的 HDF5 输入数据集使用情况

Question

我是使用 NVIDIA DIGITS 的新手。我的火车数据集具有以下结构，其格式为.hdf5 。

crops       Dataset {27482, 3, 128, 192}
labels      Dataset {27482, 12}
mean        Dataset {3, 128, 192}
pids        Dataset {27482}

我知道如何使用 .txt 或 .jpg 等更简单的格式来输入模型。我的问题是如何在NVIDIA DIGITS中使用 .hdf5 格式为我的模型提供数据

Answer 1

HDF5 数据集仅用于 DIGITS 中的图像分类数据集，即使这样支持也不是很全。

为什么？

Caffe 对 HDF5 的支持不如对 LMDB 的支持：

• 对于大型数据集，您必须将它们分解为单独的文件（请参阅此处）
• 数据未预取 - 整个数据集立即读入内存（请参阅此处）
• HDF5Data 层不支持数据转换（请参见此处）

由于 DIGITS 目前主要基于 Caffe，因此我们的主要数据集格式是 LMDB。如果/当我们支持更多后端框架时，我们可能会决定标准化更通用的格式，如 HDF5 或 zipfiles。