3

我试图猜测两个 3D 点云之间的刚性变换矩阵。这两个点云是那些：

  • 来自 kinect (kinect_keypoints) 的关键点。
  • 来自 3D 对象（框）的关键点 (object_keypoints)。

我尝试了两种选择：

[1]。算法的实现寻找刚性变换。

**1.Calculate the centroid of each point cloud.**

**2.Center the points according to the centroid.**

**3. Calculate the covariance matrix**
cvSVD( &_H, _W, _U, _V,  CV_SVD_U_T );
cvMatMul( _V,_U, &_R );
**4. Calculate the rotartion matrix using the SVD descomposition of the covariance matrix**

float _Tsrc[16] = { 1.f,0.f,0.f,0.f,
    0.f,1.f,0.f,0.f,
    0.f,0.f,1.f,0.f,
    -_gc_src.x,-_gc_src.y,-_gc_src.z,1.f };  // 1: src points to the origin
float _S[16] = { _scale,0.f,0.f,0.f,
    0.f,_scale,0.f,0.f,
    0.f,0.f,_scale,0.f,
    0.f,0.f,0.f,1.f };  // 2: scale the src points
float _R_src_to_dst[16] = { _Rdata[0],_Rdata[3],_Rdata[6],0.f, 
    _Rdata[1],_Rdata[4],_Rdata[7],0.f,
    _Rdata[2],_Rdata[5],_Rdata[8],0.f,
    0.f,0.f,0.f,1.f }; // 3: rotate the scr points
float _Tdst[16] = { 1.f,0.f,0.f,0.f, 
    0.f,1.f,0.f,0.f, 
    0.f,0.f,1.f,0.f, 
    _gc_dst.x,_gc_dst.y,_gc_dst.z,1.f }; // 4: from scr to dst

// _Tdst * _R_src_to_dst * _S * _Tsrc
mul_transform_mat( _S, _Tsrc, Rt );
mul_transform_mat( _R_src_to_dst, Rt, Rt );
mul_transform_mat( _Tdst, Rt, Rt );

[2]。使用来自 opencv 的estimateAffine3D。

        float _poseTrans[12];
        std::vector<cv::Point3f> first, second;             
        cv::Mat aff(3,4,CV_64F, _poseTrans);
        std::vector<cv::Point3f> first, second; (first-->kineckt_keypoints and second-->object_keypoints)
        cv::estimateAffine3D( first, second, aff, inliers );

        float _poseTrans2[16];

        for (int i=0; i<12; ++i)
        {
            _poseTrans2[i] = _poseTrans[i];
        }

        _poseTrans2[12] = 0.f;
        _poseTrans2[13] = 0.f;
        _poseTrans2[14] = 0.f;
        _poseTrans2[15] = 1.f;

第一个问题是转换不正确，而在第二个问题中，如果将 kinect 点云与结果矩阵相乘，则某些值是无限的。

这些选项中的任何一个都有解决方案吗？还是除 PCL 之外的替代方案？

先感谢您。

4

1 回答 1

2

编辑：这是一篇旧帖子，但答案可能对某人有用......

您的第一种方法可以在非常特殊的情况下工作（椭圆形点云或非常细长的形状），但不适用于 kinect 获取的点云。关于您的第二种方法，我不熟悉 OpenCV 功能estimateAffine3D，但我怀疑它假设两个输入点云对应于相同的物理点，如果您使用 kinect 点云（包含噪声测量）和点，情况并非如此来自理想的 3D 模型（完美）。

您提到您知道点云库 (PCL) 并且不想使用它。如果可能的话，我认为您可能需要重新考虑这一点，因为 PCL 比 OpenCV 更适合您想要做的事情（查看教程列表，其中一个完全涵盖了您想要做的事情：将对象模板与点云对齐）。

但是，这里有一些替代解决方案可以解决您的问题：

  1. 如果您的两个点云完全对应于相同的物理点，则您的第二种方法应该有效，但您也可以查看绝对方向（例如Matlab 实现）

  2. 如果您的两个点云不对应于相同的物理点，您实际上想要注册（或对齐）它们，您可以使用以下任一方法：

    • 迭代最近点 (ICP) 算法的众多变体之一，如果您大致知道对象的位置。维基百科条目

    • 3D 特征点，例如 3D SIFT、3D SURF 或 NARF 特征点，如果您不知道对象的位置。

同样，所有这些方法都已在 PCL 中实现。

于 2014-02-14T09:28:51.797 回答