问题标签 [lmdb]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
499 浏览

classification - Caffe 产生负损失值(使用 lmdb 进行多标签分类)

我正在尝试基于 lmdb 数据库进行多标签分类。我创建了两个不同的数据库。一个用于图像本身,一个用于标签。我的意图是为水平和垂直方向的角度设置 2 个不同的标签。这意味着 label1 [0-360] label2 [0-360]。

为此,我的代码如下:

我的train.txt样子:/path/to/image label1 label2wherelabel1label2是整数。

我的train_val.prototxt样子是这样的:

测试阶段的部分是相同的

我的损失层如下所示:

0 投票
1 回答
1389 浏览

python - 对数据库执行写操作时出现 MDB_MAP_FULL 错误

我正在尝试在我自己的 lmdb-database 中为 python 中的 caffe 编辑标签:

但是当我运行它时,我有错误:

mdb_put:MDB_MAP_FULL:已达到环境映射大小限制

当我试图通过它的键删除记录时,我遇到了同样的错误:

谁能解释我,我做错了什么?

0 投票
1 回答
881 浏览

lmdb - lmdb:如何确定剩余的可用空间?

创建 lmdb 环境时,我可以指定地图大小。有没有办法在任何时候确定地图大小已用完多少?

换句话说,我需要找出剩余多少可用空间才能解决空间不足的问题。

我唯一能想到的就是遍历所有数据库并使用 mdb_env_stat 来获取分支、叶子和溢出页面的数量。将所有数据库(乘以页面大小)汇总起来,并与当前地图大小进行比较。这是计算已用空间的正确方法吗?

0 投票
1 回答
715 浏览

python - 如何在没有 Caffe 的情况下在 python 中从 LMDB 加载图像?

我想从我创建的 LMDB 数据库中加载我的图像和标签数据。我为相应的图像标签对分配一个唯一键并将它们添加到 LMDB(例如 image-000000001、label-000000001)。在保存图像时,我使用image.tostring(). 现在在加载 LMDB 时,我发现我可以通过传递我生成的密钥非常简单地获取标签,但是图像数据以编码方式显示。做一个numpy.fromstring(lmdb_cursor.get('image-000000001'))不起作用。

在这里看到-第二个答案,特别是@Ghilas BELHADJ,必须使用 Caffe-datum 对象首先加载数据,然后使用datum.data. 但是我没有这样的结构,其中图像和标签是使用“数据”和“标签”标签组织的。如何从 Python 中的这种 LMDB 以 numpy 图像的形式正确读取数据?

在 Lua 中,可以这样实现,

我不知道如何在 Python 中做到这一点。

0 投票
1 回答
300 浏览

neural-network - 在 caffe 中运行第一个示例的问题

我是 Caffe 和 Python 的初学者。我在 ubuntu 16.04 中安装了 Caffe 并成功编译。我在 anaconda 2 中创建了一个环境并使用 Cmake 进行编译。我运行了这段代码,它打印了 caffe 版本。

所以我想我已经正确安装了。我想在 caffe 有我的第一次体验,所以我按照这个链接中的说明进行操作。但我对此并不熟悉。它给了我这个错误:

如果有人能指导我如何开始在 caffe 中运行示例和模型,我真的很感激。

0 投票
0 回答
160 浏览

python - caffe,训练非图像数据,恒定损失和准确率

我创建了自己的lmdb数据库,其中包含(非图像)2Dnumpy列表数据值在 0 到MAX_INT.

样本量是1500*75,而原始样本量是15000*77(训练非常慢)。我有 2400 个样本,分为 5/6 用于训练和 1/6 测试。我的网络仅包含 2 个类(0,1)。

网络根本没有学习,我一遍又一遍地得到相同的值,损失为 0 或 87.3366,准确度始终为 0.495,从iter 0until 开始iter 20K

我已经尝试了所有可能的解决方案,调整参数,加深网络,改变整个网络!我究竟做错了什么?

0 投票
2 回答
491 浏览

machine-learning - caffe中的单浮点标签,LMDB格式

我正在使用 caffe 来解决回归问题,我想知道如何将格式用于单个浮点标签。

目前,caffe 仅支持int32lmdb 数据的类型标签(类型为in label)。 为了更改此默认行为,我更改了 caffe 中的一些文件,如下所示,但问题仍然存在,并且在转换我的标签后全部为零。Datumint32

毕竟我再次编译了 caffe 但它不起作用。

有没有人来解决这个问题。尽快解决它对我来说非常重要。

提前致谢。

0 投票
1 回答
249 浏览

machine-learning - NVIDIA DIGITS - 多个输入层

我有一个关于 NVIDIA DIGITS 框架的问题。所以我一直在使用没有 DIGITS 的 caffe,并且到目前为止使用了 HDF5 层。在那里我可以使用多个“顶部”(data_0、data_1、data_2)输入(参见下面的代码)。所以我可以给网络提供一个以上的输入图像。但在 DIGITS 中,只有 lmdb 输入层有效。

那么是否可以创建具有多个输入图像的 lmdb 输入层?

0 投票
1 回答
480 浏览

caffe - 创建 LMDB 数据库时是否必须转置灰度图像?

我正在将一组图像和一组地面实况图像转换为 LMDB 数据库。目的是逐像素预测。大部分用于从 RGB 图像创建 LMDB 的代码都有一行表示按CxHxW顺序转置,如下所示:

我的图像数据(训练数据和相应的地面实况图像)是灰度的(即单通道)。我的问题是,这条线的目的是什么,我应该为我的single channel图像和基本事实做这个矩阵转置还是没有必要?

感谢您的帮助。

0 投票
0 回答
674 浏览

python - 使用 Python 将图像作为编码文件插入到 LMDB

我正在尝试使用以下代码段将一堆图像插入 LMDB 格式:

但是,由于未压缩的字节被写入磁盘,因此生成的文件非常大!!因此,我想知道如何在 python 中将编码属性设置为 JPG。我已经知道这个选项在 C++ api 中可用。

提前致谢