0

我正在尝试获取 Kinect v2 中每个 CameraSpacePoint 的 RGB 值。在尝试访问转换后的帧数据时，代码正在抛出IndexOutOfRangeException. 我发现以下几行抛出此错误：

byte red   = pixels[4 * pixelsBaseIndex + 0];
byte green = pixels[4 * pixelsBaseIndex + 1];
byte blue  = pixels[4 * pixelsBaseIndex + 2];
byte alpha = pixels[4 * pixelsBaseIndex + 3];

请看下面的完整代码：

int depthWidth = kinectSensor.DepthFrameSource.FrameDescription.Width;
int depthHeight = kinectSensor.DepthFrameSource.FrameDescription.Height;
int colorWidth = kinectSensor.ColorFrameSource.FrameDescription.Width;
int colorHeight = kinectSensor.ColorFrameSource.FrameDescription.Height;

ushort[] depthData = new ushort[depthWidth * depthHeight];
CameraSpacePoint[] cameraPoints = new CameraSpacePoint[depthData.Length];
ColorSpacePoint[] colorPoints = new ColorSpacePoint[depthData.Length];

// Assuming RGBA format here
byte[] pixels = new byte[colorWidth * colorHeight * 4];

depthFrame = multiSourceFrame.DepthFrameReference.AcquireFrame();
colorFrame = multiSourceFrame.ColorFrameReference.AcquireFrame();

if ((depthFrame == null) || (colorFrame == null))
{
    return;
}

depthFrame.CopyFrameDataToArray(depthData);
coordinateMapper.MapDepthFrameToCameraSpace(depthData, cameraPoints);
coordinateMapper.MapDepthFrameToColorSpace(depthData, colorPoints);

// We are using RGBA format
colorFrame.CopyConvertedFrameDataToArray(pixels, ColorImageFormat.Rgba);

for (var index = 0; index < depthData.Length; index++)
{
    var u = colorPoints[index].X;
    var v = colorPoints[index].Y;

    if (u < 0 || u >= colorWidth || v < 0 || v >= colorHeight) continue;

    int pixelsBaseIndex = (int)(v * colorWidth + u);
    try
    {
        byte red = pixels[4 * pixelsBaseIndex + 0];
        byte green = pixels[4 * pixelsBaseIndex + 1];
        byte blue = pixels[4 * pixelsBaseIndex + 2];
        byte alpha = pixels[4 * pixelsBaseIndex + 3];
    }
    catch (IndexOutOfRangeException ex)
    {
        int minValue = 4 * pixelsBaseIndex;
        int maxValue = 4 * pixelsBaseIndex + 3;
        Console.WriteLine((minValue > 0) + ", " + (maxValue < pixels.Length));
    }
}

代码看起来不错，但是我不确定我在这里缺少什么！如何避免IndexOutOfRangeException异常？请问有什么建议吗？

4

1 回答 1

1

第一件事pixelsBaseIndex =< 2070601 (2070601 = 1919 * 1079)

2074817是 的无效值pixelsBaseIndex。

这个错误可能在这里的某个地方。

if (u < 0 || u >= colorWidth || v < 0 || v >= colorHeight) continue;

int pixelsBaseIndex = (int)(v * colorWidth + u);

最好的办法是控制台日志u, v, colorWidth, colorHeight并验证它们。

编辑

正如我所怀疑的，它是由浮点运算引起的。将一帧映射到另一帧需要复杂的矩阵计算，因此 u,v 得到浮点值。请记住，u,v 是颜色空间的像素坐标。它们必须是非负整数。

我推荐的解决方案是

...
    int u = (int) Math.Floor(colorPoints[index].X);
    int v = (int) Math.Floor(colorPoints[index].Y);

    if (u < 0 || u >= colorWidth || v < 0 || v >= colorHeight) continue;
...

供参考

查看以下代码行以了解为什么 u、v 像素坐标获取浮点值。决定是发言还是丢弃无效值取决于开发人员，因为在任何一种情况下，您都会丢失某种信息。例如，取地板意味着您正在取最近像素的颜色。

在我个人的选择中，输出更精确的值（因此浮点值）对于对输出值进行更多计算的开发人员很重要。例如，点云注册。

depth_to_color

根据深度值计算 rgb 图像的 x 偏移

于 2017-12-17T08:14:35.337 回答