我在 Matlab 中有一堆二维数据矩阵(没有图像数据,但有一些单精度数据)。
有谁知道如何将 2D matlab 矩阵转换为 caffe 训练自定义神经网络所需的 leveldb 格式?
我已经完成了关于如何训练图像(使用 imagenet 架构)和 mnist(数字识别数据集)的教程。但是在后一个示例中,他们没有展示如何创建相应的数据库。在教程中已经提供了数据库。
我在 Matlab 中有一堆二维数据矩阵(没有图像数据,但有一些单精度数据)。
有谁知道如何将 2D matlab 矩阵转换为 caffe 训练自定义神经网络所需的 leveldb 格式?
我已经完成了关于如何训练图像(使用 imagenet 架构)和 mnist(数字识别数据集)的教程。但是在后一个示例中,他们没有展示如何创建相应的数据库。在教程中已经提供了数据库。
我仍然不知道为我的 2D 数据矩阵创建一个 leveldb 数据库以在 caffe 中使用,但我最终解决了问题:
我最终使用Shai 的建议将数据转换为 HDF5 格式。在 Matlab 中读写 HDF5 数据库非常容易。您只需要使用 Matlab 中已经实现的函数、hdf5info()
和h5read()
。h5create()
h5write()
示例:
- 将 caffe prototxt 文件中的数据类型更改为“hdf5layer”,如下所示:
name: "LeNet"
layer {
name: "mnist"
type: "HDF5Data"
top: "data"
top: "label"
include {
phase: TRAIN
}
hdf5_data_param {
source: "/path/to/your/database/myMnist_train.txt"
batch_size: 64
}
}
使用 Matlab 创建 HDF5 数据库:
- Caffe:您的输入训练数据必须是一个 4-D 矩阵,其中最后两个维度等于您在 matlab 中的 2D 输入数据矩阵的大小。
- 示例:取一个大小为 54x24 (#rows x cols) 的 2d 矩阵(图像或单精度数据)
--> 转置它,并将其堆叠成 24x54x1xN 矩阵,其中 N 是 2d 矩阵(训练样本)的数量
-标签位于 matlab 中的 1xN 行向量中。
- 现在创建你的 hdf5 数据库:
h5create(['train.h5'],'/data',[24 54 1 length(trainLabels)]);
h5create(['train.h5'],'/label',[1 length(trainLabels)]);
h5write(['train.h5'],'/data',trainData);
h5write(['train.h5'],'/label',trainLabels);
hdf5info(filename)
获取 hdf5 数据库中的数据集名称。然后使用data = h5read(filename,dataset)
读取数据集