5

我已经在这个问题上工作了很长一段时间，并且我的创造力已经结束，所以希望其他人可以帮助我指出正确的方向。我一直在使用 Kinect 并尝试将数据捕获到 MATLAB。幸运的是，有很多方法可以做到这一点（我目前正在使用http://www.mathworks.com/matlabcentral/fileexchange/30242-kinect-matlab）。当我尝试将捕获的数据投影到 3D 时，我的传统方法给出的重建结果很差。

长话短说，我最终为 matlab 编写了一个 Kinect SDK 包装器，用于执行重建和对齐。重建工作就像一场梦，但是......

正如您在此处看到的，我在对齐方面遇到了很多麻烦：

在此处输入图像描述

请不要太仔细地看模型:(。

如您所见，对齐方式不正确。我不确定为什么会这样。我读过很多论坛，其他人用同样的方法比我取得了更多的成功。

我当前的管道使用 Kinect Matlab（使用 Openni）来捕获数据，使用 Kinect SDK 重建，然后使用 Kinect SDK 对齐（通过 NuiImageGetColorPixelCoordinateFrameFromDepthPixelFrameAtResolution）。我怀疑这可能是由于 Openni，但我在创建 mex 函数调用以使用 Kinect SDK 进行捕获方面收效甚微。

如果有人能指出我应该更深入研究的方向，将不胜感激。

编辑：

图我应该发布一些代码。这是我用于对齐的代码：

    /* The matlab mex function */
    void mexFunction( int nlhs, mxArray *plhs[], int nrhs, 
            const mxArray *prhs[] ){

        if( nrhs < 2 )
        {
            printf( "No depth input or color image specified!\n" );
            mexErrMsgTxt( "Input Error" );
        }

        int width = 640, height = 480;

        // get input depth data

        unsigned short *pDepthRow = ( unsigned short* ) mxGetData( prhs[0] );
        unsigned char *pColorRow = ( unsigned char* ) mxGetData( prhs[1] );

        // compute the warping

        INuiSensor *sensor = CreateFirstConnected();
        long colorCoords[ 640*480*2 ];
        sensor->NuiImageGetColorPixelCoordinateFrameFromDepthPixelFrameAtResolution(
                NUI_IMAGE_RESOLUTION_640x480, NUI_IMAGE_RESOLUTION_640x480, 
                640*480, pDepthRow, 640*480*2, colorCoords );
        sensor->NuiShutdown();
        sensor->Release();

        // create matlab output; it's a column ordered matrix ;_;

        int Jdimsc[3];
        Jdimsc[0]=height;
        Jdimsc[1]=width;
        Jdimsc[2]=3;

        plhs[0] = mxCreateNumericArray( 3, Jdimsc, mxUINT8_CLASS, mxREAL );
        unsigned char *Iout = ( unsigned char* )mxGetData( plhs[0] );

        for( int x = 0; x < width; x++ )
            for( int y = 0; y < height; y++ ){

                int idx = ( y*width + x )*2;
                long c_x = colorCoords[ idx + 0 ];
                long c_y = colorCoords[ idx + 1 ];

                bool correct = ( c_x >= 0 && c_x < width 
                        && c_y >= 0 && c_y < height );
                c_x = correct ? c_x : x;
                c_y = correct ? c_y : y;

                Iout[ 0*height*width + x*height + y ] =
                        pColorRow[ 0*height*width + c_x*height + c_y ];
                Iout[ 1*height*width + x*height + y ] =
                        pColorRow[ 1*height*width + c_x*height + c_y ];
                Iout[ 2*height*width + x*height + y ] =
                        pColorRow[ 2*height*width + c_x*height + c_y ];

            }

    }
4

3 回答 3

5

这是立体视觉系统的一个众所周知的问题。不久前我遇到了同样的问题。我发布的原始问题可以在这里找到。我试图做的与此类似。然而，经过大量研究，我得出结论，捕获的数据集不容易对齐。

另一方面，在记录数据集时，您可以轻松地使用函数调用来对齐 RGB 和深度数据。此方法在 OpenNI 和 Kinect SDK 中都可用（功能相同，但每个函数调用的名称不同）

看起来您正在使用 Kinect SDK 来捕获数据集，要将数据与 Kinect SDK 对齐，您可以使用MapDepthFrameToColorFrame。

由于您还提到了使用 OpenNI，请查看AlternativeViewPointCapability。

我没有使用 Kinect SDK 的经验，但是使用 OpenNI v1.5，在注册记录器节点之前，通过以下函数调用解决了整个问题：

depth.GetAlternativeViewPointCap().SetViewPoint(image);

其中image是图像生成器节点，depth是深度生成器节点。这是旧的 SDK 已被 OpenNI 2.0 SDK 取代。因此，如果您使用的是最新的 SDK，那么函数调用可能会有所不同，但整体过程可能相似。

我还添加了一些示例图像：

不使用上述对齐函数调用 RGB 上的深度边缘未对齐 没有对齐

使用函数调用时，深度边缘完全对齐（有一些红外阴影区域显示了一些边缘，但它们只是无效的深度区域） 对齐

于 2013-08-05T22:09:07.043 回答
1

您可以通过使用 Kinect SDK 读取 U、V 纹理映射参数轻松对齐深度帧和颜色帧。对于深度帧 D(i,j) 的每个像素坐标 (i,j)，颜色帧的相应像素坐标由 (U(i,j),V(i,j)) 给出，因此颜色为通过 C(U(i,j),V(i,j))。

U、V 功能包含在每个 Kinect 的硬件中，它们因 Kinect 与 Kinect 不同而不同，因为在工厂粘在硬件板上时，深度摄像头与视频摄像头的对齐方式不同。但是，如果您从 Kinect SDK 读取 U,V，则不必担心。

下面我给你一个图像示例和一个使用 Java 中的 Kinect SDK 和J4K 开源库的实际源代码示例：

public class Kinect extends J4KSDK{

    VideoFrame videoTexture; 

public Kinect() { 
    super(); 
    videoTexture=new VideoFrame(); 
}

@Override 
public void onDepthFrameEvent(short[] packed_depth, int[] U, int V[]) { 
    DepthMap map=new DepthMap(depthWidth(),depthHeight(),packed_depth); 
    if(U!=null && V!=null) map.setUV(U,V,videoWidth(),videoHeight()); 
} 

@Override 
public void onVideoFrameEvent(byte[] data) {     
    videoTexture.update(videoWidth(), videoHeight(), data); 
} }

显示同一深度视频对齐帧的 3 个不同视角的图像示例： 在此处输入图像描述

我希望这对你有帮助！

于 2013-11-30T19:44:00.983 回答
1

在此处输入图像描述 depth.GetAlternativeViewPointCap().SetViewPoint(image);

效果很好，但问题是它缩小了深度图像（通过 FOCAL_rgb/FOCAL_kinect）并通过视差 d=focal*B/z 移动深度像素；根据出厂设置，也可能会有轻微的旋转。

因此，如果不撤消这些转换，就无法再恢复所有 3 个真实世界坐标。话虽如此，不依赖于准确的 x、y 并且仅考虑 z 的方法（例如分割）即使在移位的地图中也可能运行良好。此外，它们可以利用颜色和深度来执行更好的分割。

于 2013-11-26T22:34:32.667 回答