13

我正在使用 CGAL 的(最新的)KD-tree 实现来搜索点集中的最近邻。而且 Wikipedia 和其他资源似乎表明 KD-trees 是要走的路。但不知何故,它们太慢了,Wiki 还建议它们的最坏情况时间为 O(n),这远非理想。

[BEGIN-EDIT] 我现在使用“nanoflann”,它比 CGAL 中的 K-neighbor 搜索快 100-1000 倍。我正在使用“Intel Embree”进行光线投射,它比 CGAL 的 AABB 树快大约 100-200 倍。 [结束编辑]

我的任务如下所示:

我有一个巨大的积分集,比如最多 100 mio。积分!!并且它们的分布在三角几何的表面上(是的,光子示踪剂)。所以可以说它们在 3D 空间中的分布是 2D,因为它在 3D 中是稀疏的,但在查看表面时是密集的……这可能是问题所在吗?因为对我来说,这似乎触发了 KD 树的最坏情况性能,它可能可以更好地处理 3D 密集点集......

CGAl 非常擅长它的工作,所以我有点怀疑他们的实现很糟糕。我用于光线追踪的他们的 AABB 树在几分钟内在地面上燃烧了十亿条光线......我想这很了不起。但另一方面,他们的 KD-tree 甚至无法处理 mio。在任何合理的时间点和 250k 样本(点查询)......

我想出了两个解决方案,它们可以摆脱 KD-trees:

1) 使用纹理贴图将光子存储在几何体的链表中。这始终是 O(1) 操作,因为无论如何您都必须进行光线投射......

2) 使用视图相关的切片哈希集。那就是你离得越远,哈希集就越粗糙。所以基本上你可以在 NDC 坐标中考虑一个 1024x1024x1024 的栅格,但是使用哈希集来节省稀疏区域的内存。这基本上具有 O(1) 复杂性并且可以有效地并行化,对于插入(微分片)和查询(无锁)都是如此。

前一种解决方案的缺点是几乎不可能对相邻的光子列表进行平均,这在较暗的区域避免噪声很重要。后一种解决方案没有这个问题,应该在功能方面与 KD-trees 相提并论,只是它具有 O(1) 最坏情况下的性能,哈哈。

所以你怎么看?糟糕的KD树实现?如果没有,对于有界最近邻查询,是否有比 KD 树“更好”的东西?我的意思是我没有反对我上面的第二个解决方案,但是提供类似性能的“经过验证的”数据结构会更好!

谢谢!

这是我使用的代码(虽然不可编译):

#include "stdafx.h"
#include "PhotonMap.h"

#pragma warning (push)
    #pragma warning (disable: 4512 4244 4061)
    #pragma warning (disable: 4706 4702 4512 4310 4267 4244 4917 4820 4710 4514 4365 4350 4640 4571 4127 4242 4350 4668 4626)
    #pragma warning (disable: 4625 4265 4371)

    #include <CGAL/Simple_cartesian.h>
    #include <CGAL/Orthogonal_incremental_neighbor_search.h>
    #include <CGAL/basic.h>
    #include <CGAL/Search_traits.h>
    #include <CGAL/point_generators_3.h>

#pragma warning (pop)

struct PhotonicPoint
{
    float vec[3];
    const Photon* photon;

    PhotonicPoint(const Photon& photon) : photon(&photon) 
    { 
        vec[0] = photon.hitPoint.getX();
        vec[1] = photon.hitPoint.getY();
        vec[2] = photon.hitPoint.getZ();
    }

    PhotonicPoint(Vector3 pos) : photon(nullptr) 
    { 
        vec[0] = pos.getX();
        vec[1] = pos.getY();
        vec[2] = pos.getZ();
    }

    PhotonicPoint() : photon(nullptr) { vec[0] = vec[1] = vec[2] = 0; }

    float x() const { return vec[0]; }
    float y() const { return vec[1]; }
    float z() const { return vec[2]; }
    float& x() { return vec[0]; }
    float& y() { return vec[1]; }
    float& z() { return vec[2]; }

    bool operator==(const PhotonicPoint& p) const
    {
        return (x() == p.x()) && (y() == p.y()) && (z() == p.z()) ;
    }

    bool operator!=(const PhotonicPoint& p) const 
    { 
        return ! (*this == p); 
    }
}; 

namespace CGAL 
{
    template <>
    struct Kernel_traits<PhotonicPoint> 
    {
        struct Kernel 
        {
            typedef float FT;
            typedef float RT;
        };
    };
}

struct Construct_coord_iterator
{
    typedef const float* result_type;

    const float* operator()(const PhotonicPoint& p) const
    { 
        return static_cast<const float*>(p.vec); 
    }

    const float* operator()(const PhotonicPoint& p, int) const
    { 
        return static_cast<const float*>(p.vec+3); 
    }
};

typedef CGAL::Search_traits<float, PhotonicPoint, const float*, Construct_coord_iterator> Traits;
typedef CGAL::Orthogonal_incremental_neighbor_search<Traits> NN_incremental_search;
typedef NN_incremental_search::iterator NN_iterator;
typedef NN_incremental_search::Tree Tree;


struct PhotonMap_Impl
{
    Tree tree;

    PhotonMap_Impl(const PhotonAllocator& allocator) : tree()
    {
        int counter = 0, maxCount = allocator.GetAllocationCounter();
        for(auto& list : allocator.GetPhotonLists())
        {
            int listLength = std::min((int)list.size(), maxCount - counter);
            counter += listLength; 
            tree.insert(std::begin(list), std::begin(list) + listLength);
        }

        tree.build();
    }
};

PhotonMap::PhotonMap(const PhotonAllocator& allocator)
{
    impl = std::make_shared<PhotonMap_Impl>(allocator);
}

void PhotonMap::Sample(Vector3 where, float radius, int minCount, std::vector<const Photon*>& outPhotons)
{
    NN_incremental_search search(impl->tree, PhotonicPoint(where));
    int count = 0;

    for(auto& p : search)
    {
        if((p.second > radius) && (count > minCount) || (count > 50))
            break;

        count++;
        outPhotons.push_back(p.first.photon);
    }

}
4

5 回答 5

12

答案不是提问的地方,但你的问题不是问题,而是 CGAL 的 kd-tree 很烂的陈述。

读取地质数据模型的 1.8mio 点,并计算每个点的 50 个最近点,在我的 Dell Precision、Windows7、64bit、VC10 上具有以下性能:

  • 从文件中读取点:10 秒
  • 树的构建 1.3 秒
  • 报告 50 个最近点的 1.8 个 mio 查询:17 秒

有没有类似的表现。你会期望 kd-tree 更快吗?

另外我想知道您的查询点在哪里,靠近表面或靠近骨架。

于 2013-03-05T15:24:56.107 回答
7

几个月前,我对快速 KD-tree 实现进行了一些研究,我同意 Anony-Mousse 的观点,即质量(和库的“重量”)差异很大。以下是我的一些发现:

kdtree2是一个鲜为人知且非常简单的 KD-tree 实现,我发现它对于 3D 问题非常快,尤其是如果您允许它复制和重新排序您的数据。此外,它很小,很容易合并和适应。是作者的一篇关于实现的论文(不要因为标题中提到的 Fortran 而被推迟)。这是我最终使用的库。我的同事将它的 3D 点速度与VLFeat 的KD-trees 和另一个我不记得的库(许多 FLANN,见下文)进行了基准测试,结果它赢了。

FLANN以速度快着称,最近经常被使用和推荐。它针对更高维的情况,它提供近似算法,但也用于处理 3D 问题的点云库。

我没有尝试 CGAL,因为我发现这个库太重了。我同意 CGAL 有很好的声誉,但我觉得它偶尔会受到过度复杂的影响。

于 2013-03-05T17:14:41.380 回答
4

不幸的是,根据我的经验,实施质量差异很大。然而,我从未看过 CGAL 的实现。

kd-tree 最坏的情况通常是由于增量更改而变得过于不平衡,应该重新加载。

但是,一般而言,当您不知道数据分布时,此类树最有效。

在您的情况下,听起来好像简单的基于网格的方法可能是最佳选择。如果需要,您可以将纹理视为密集的 2d 网格。所以也许你可以找到一个网格工作良好的二维投影,然后与这个投影相交。

于 2013-03-01T23:25:20.907 回答
0

如果 kdtree 对小集合来说很快,但对大集合(>100000?)来说“慢”,你可能会因为刷新处理器缓存而受苦。如果前几个节点与很少使用的叶节点交错,那么您将在处理器缓存中放置较少的频繁使用的节点。这可以通过最小化节点的大小和仔细布局内存中的节点来改善。但最终你还是会刷新相当数量的节点。您最终可能会访问成为瓶颈的主内存。

Valgrind 告诉我,我的代码的一个版本减少了 5% 的指令,但我相信秒表告诉我对于相同的输入它会慢 10% 左右。我怀疑 valgrind 进行完整的缓存模拟会告诉我正确的答案。

如果您是多线程的,您可能希望鼓励线程在类似区域中进行搜索以重用缓存......假设单个多核处理器 - 多个处理器可能需要相反的方法。

提示:与 64 位指针相比,您在内存中打包的 32 位索引更多。

于 2018-02-22T21:54:20.397 回答
0

看看 MPL 许可证下的 ApproxMVBB 库:

https://github.com/gabyx/ApproxMVBB

kdTree 实现应该与 PCL(FLANN) 相当,并且可能更快。(在我的实现中,使用 PCL 进行的测试似乎更快!)

免责声明:我是这个库的所有者,绝不是这个库声称更快,还没有进行严格的性能测试,但我在速度为王的粒状刚体动力学中成功地使用了这个库!但是,这个库非常小,并且 kdTree 实现非常通用(参见示例),并且允许您自定义拆分启发式和其他奇特的东西 :-)。

实现了与 nanoflann(直接数据访问等,通用数据,n 维)类似的改进和考虑......(参见 KdTree.hpp)头文件。

一些时间更新:
该示例kdTreeFiltering包含一些小基准:加载了 35947 点的标准兔子(开箱即用的 repo 中的完整工作示例):

结果:

兔子.txt

Loaded: 35947 points 
KDTree::  Exotic point traits , Vector3* +  id, start: =====
KdTree build took: 3.1685ms.
Tree Stats: 
     nodes      : 1199
     leafs      : 600
     tree level : 11
     avg. leaf data size : 29.9808
     min. leaf data size : 0
     max. leaf data size : 261
     min. leaf extent    : 0.00964587
     max. leaf extent    : 0.060337
SplitHeuristics Stats: 
     splits            : 599
     avg. split ratio  (0,0.5] : 0.5
     avg. point ratio  [0,0.5] : 0.22947
     avg. extent ratio (0,1]   : 0.616848
     tries / calls     : 599/716 = 0.836592
Neighbour Stats (if computed): 

     min. leaf neighbours    : 6
     max. leaf neighbours    : 69
     avg. leaf neighbours    : 18.7867
(Built with methods: midpoint, no split heuristic optimization loop)


Saving KdTree XML to: KdTreeResults.xml
KDTree:: Simple point traits , Vector3 only , start: =====
KdTree build took: 18.3371ms.
Tree Stats: 
     nodes      : 1199
     leafs      : 600
     tree level : 10
     avg. leaf data size : 29.9808
     min. leaf data size : 0
     max. leaf data size : 306
     min. leaf extent    : 0.01
     max. leaf extent    : 0.076794
SplitHeuristics Stats: 
     splits            : 599
     avg. split ratio  (0,0.5] : 0.448302
     avg. point ratio  [0,0.5] : 0.268614
     avg. extent ratio (0,1]   : 0.502048
     tries / calls     : 3312/816 = 4.05882
Neighbour Stats (if computed): 

     min. leaf neighbours    : 6
     max. leaf neighbours    : 43
     avg. leaf neighbours    : 21.11
(Built with methods: midpoint, median,geometric mean, full split heuristic optimization)

具有 1400 万个点的Lucy.txt模型:

Loaded: 14027872 points 
KDTree::  Exotic point traits , Vector3* +  id, start: =====
KdTree build took: 3123.85ms.
Tree Stats: 
         nodes      : 999999
         leafs      : 500000
         tree level : 25
         avg. leaf data size : 14.0279
         min. leaf data size : 0
         max. leaf data size : 159
         min. leaf extent    : 2.08504
         max. leaf extent    : 399.26
SplitHeuristics Stats: 
         splits            : 499999
         avg. split ratio  (0,0.5] : 0.5
         avg. point ratio  [0,0.5] : 0.194764
         avg. extent ratio (0,1]   : 0.649163
         tries / calls     : 499999/636416 = 0.785648
(Built with methods: midpoint, no split heuristic optimization loop)

KDTree:: Simple point traits , Vector3 only , start: =====
KdTree build took: 7766.79ms.
Tree Stats: 
     nodes      : 1199
     leafs      : 600
     tree level : 10
     avg. leaf data size : 11699.6
     min. leaf data size : 0
     max. leaf data size : 35534
     min. leaf extent    : 9.87306
     max. leaf extent    : 413.195
SplitHeuristics Stats: 
     splits            : 599
     avg. split ratio  (0,0.5] : 0.297657
     avg. point ratio  [0,0.5] : 0.492414
     avg. extent ratio (0,1]   : 0.312965
     tries / calls     : 5391/600 = 8.985
Neighbour Stats (if computed): 

     min. leaf neighbours    : 4
     max. leaf neighbours    : 37
     avg. leaf neighbours    : 12.9233
(Built with methods: midpoint, median,geometric mean, full split heuristic optimization)

注意解释!并查看示例File中使用的设置。然而,与其他人的结果相比:14*10⁶ 点约 3100 毫秒是相当光滑的 :-)

使用的处理器:Intel® Core™ i7 CPU 970 @ 3.20GHz × 12 , 12GB Ram

于 2015-09-16T13:12:15.857 回答