c++ - FLANN 和大 HDF5 文件

Question

我正在尝试将flann与大 hdf5 文件（尺寸 1kk x 1k）一起使用。

但是 flann_example.cpp 中的所有功能都失败了

Matrix<float> dataset;
load_from_file(dataset, "carray.hdf5", "carray");

在线的

dataset = flann::Matrix<T>(new T[dims_out[0]*dims_out[1]], dims_out[0], dims_out[1]);

因为它似乎想要分配大内存块new

我正在使用 2 Gb 的 win32。有没有办法处理这样的大数据？

我也试过用python

def using_pyflann():
    N=10000*6  # for 100k x 1k don't work
    dim=1000
    type=np.int32  #int8 can't be used?
    x = np.array(np.random.rand(N, dim)*10, dtype=type)
    perm = np.random.permutation(N)
    fl= FLANN()
    fl.build_index(x)
    pt= np.array(np.random.rand(1, dim)*10, dtype=type)
    t0= time.time()
    res, dist= fl.nn_index(pt)
    print (time.time()-t0)
    print res
    print dist
    print 'done'

Answer 1

如果没有特别的原因，你必须使用win32解决方案平台，你应该切换到x64平台。在 Win32 平台上，您不能分配超过 2GB 的内存。

https://software.intel.com/en-us/articles/memory-limits-applications-windows