问题标签 [lmdb]

I'm trying to create an LMDB data base file in Python to be used with Caffe according to this tutorial. The commands import numpy as np and import caffe run perfectly fine. However, when I try to run import lmdb and import deepdish as dd, I'm getting the following errors:

I'm running Python 2.7.9 through Anaconda 2.2.0 (64-bit) on Ubuntu 14.04. While installing the dependencies for Caffe according to this page, I've already installed the lmdb package through sudo apt-get install liblmdb-dev.

Any ideas why this error might be occuring?

python中是否有任何API可以在linux环境中加载.mdb文件并将它们转换为python友好的数据结构，如numpy或hdf5？

我正在尝试根据本教程在使用 Anaconda Python 2.7.9 的 Ubuntu 14.04 机器上创建一个用于 Caffe 的 LMDB 数据库文件。但是，当我这样做时pip install deepdish，我收到以下错误：

任何想法为什么会发生此错误以及如何纠正它？任何帮助深表感谢。谢谢你。

我正在尝试训练神经网络来学习函数y = x1 + x2 + x3。目标是使用 Caffe 以便更好地学习和理解它。所需的数据在 python 中综合生成，并作为 lmdb 数据库文件写入内存。

数据生成代码：

Solver.prototext 文件：

咖啡模型：

我得到的测试数据的损失是233,655. 这是令人震惊的，因为损失比训练和测试数据集中的数字大三个数量级。此外，要学习的函数是一个简单的线性函数。我似乎无法弄清楚代码中有什么问题。非常感谢任何建议/意见。

我试图训练一个神经网络来学习深度学习框架 Caffe 中的函数 y = x^2。这是我的代码：

数据生成代码：

求解器文件：

咖啡型号：

我收到了 10^8 的错误，这令人难以置信。网络应该接受单个输入并产生单个输出。输入是 [0,255] 范围内的整数，输出应该是各个输入的平方。任何想法为什么会获得如此巨大的错误？

如何在 Python 中从 LMDB 获取图像？

该结果的数据类型是什么？该数据类型与函数匹配open('xx.jpg').read()吗？

我的目的是从 LMDB 读取图像，然后匹配我的代码（该代码是为 的数据类型编写的open('xx.jpg').read()），所以如果可以的话，我想从 LMDB 获取相同的数据类型。

使用Caffe创建用于训练的数据集我都尝试使用 HDF5 和 LMDB。但是，创建 LMDB 非常慢，甚至比 HDF5 还要慢。我正在尝试编写约 20,000 张图像。

我做错了什么吗？有什么我不知道的吗？

这是我创建 LMDB 的代码：

如您所见，我为每 1,000 个图像创建一个事务，因为我认为为每个图像创建一个事务会产生开销，但这似乎不会对性能产生太大影响。

我正在使用 LMDB++（LMDB 的 C++ 包装器），我收到了这个错误：

terminate called after throwing an instance of 'lmdb::map_full_error' what(): mdb_put: MDB_MAP_FULL: Environment mapsize limit reached

一些谷歌搜索告诉我，默认 map_size 在 LMDB 中设置得较低。我该如何增加map_size？

现在我似乎需要创建一个事务和一个游标，但是如何获得可以迭代的键列表？

我正在尝试将图像数据集转换为 LMDB 格式以用于 Caffe，并且我需要调用 convert_imageset 函数以从 Matlab 内部应用此转换。

我正在使用 Linux，并且我创建了一个 shell (.sh) 脚本，其中包含运行转换所需的参数。这是我的 shell 文件的示例：

当我像这样从终端运行我的脚本时：

它可以正常工作。但是当我尝试使用该system()函数从 Matlab 执行此操作时：

似乎无法打开/找到我的文件，导致 train.txt 中的每个图像出现以下错误：

以下是 train.txt 文件中的一些示例行（不要介意 0，它们只是虚拟标签）：

它们是绝对路径，所以应该没有问题。

您对可能发生的事情的任何想法都可能对我很有帮助！

谢谢，

马克