5

我正在使用 Kinect 驱动程序 CL NUI 并尝试获取项目的相对深度。

库提供了一种获取表示屏幕上对象深度的图像的方法。这是一个例子：
Kinect 深度图像

有没有一种简单的方法可以将像素颜色转换为图像深度？例如，最近的颜色可能是深度 0，最远的颜色可能是深度 1。

有谁知道这是怎么做到的吗？

我发现了这些关于如何将深度数据转换为颜色的计算，我想要的是相反的：

float RawDepthToMeters(int depthValue)
{
    if (depthValue < 2047)
    {
        return float(1.0 / (double(depthValue) * -0.0030711016 + 3.3309495161));
    }
    return 0.0f;
}

Vec3f DepthToWorld(int x, int y, int depthValue)
{
    static const double fx_d = 1.0 / 5.9421434211923247e+02;
    static const double fy_d = 1.0 / 5.9104053696870778e+02;
    static const double cx_d = 3.3930780975300314e+02;
    static const double cy_d = 2.4273913761751615e+02;

    Vec3f result;
    const double depth = RawDepthToMeters(depthValue);
    result.x = float((x - cx_d) * depth * fx_d);
    result.y = float((y - cy_d) * depth * fy_d);
    result.z = float(depth);
    return result;
}

Vec2i WorldToColor(const Vec3f &pt)
{
    static const Matrix4 rotationMatrix(
                            Vec3f(9.9984628826577793e-01f, 1.2635359098409581e-03f, -1.7487233004436643e-02f),
                            Vec3f(-1.4779096108364480e-03f, 9.9992385683542895e-01f, -1.2251380107679535e-02f),
                            Vec3f(1.7470421412464927e-02f, 1.2275341476520762e-02f, 9.9977202419716948e-01f));
    static const Vec3f translation(1.9985242312092553e-02f, -7.4423738761617583e-04f, -1.0916736334336222e-02f);
    static const Matrix4 finalMatrix = rotationMatrix.Transpose() * Matrix4::Translation(-translation);

    static const double fx_rgb = 5.2921508098293293e+02;
    static const double fy_rgb = 5.2556393630057437e+02;
    static const double cx_rgb = 3.2894272028759258e+02;
    static const double cy_rgb = 2.6748068171871557e+02;

    const Vec3f transformedPos = finalMatrix.TransformPoint(pt);
    const float invZ = 1.0f / transformedPos.z;

    Vec2i result;
    result.x = Utility::Bound(Math::Round((transformedPos.x * fx_rgb * invZ) + cx_rgb), 0, 639);
    result.y = Utility::Bound(Math::Round((transformedPos.y * fy_rgb * invZ) + cy_rgb), 0, 479);
    return result;
}

我的矩阵数学很弱，我不确定如何反转计算。

4

2 回答 2

3

我找到了解决方案。

深度值存储在CLNUIDevice.GetCameraDepthFrameRAW图像中。此图像的颜色是根据 11 位深度值创建的。IE 你有 24 位的 RGB 颜色（如果是 ARGB，则为 32）。要获得深度，您需要像这样截断不必要的位：

    private int colorToDepth(Color c) {
        int colorInt = c.ToArgb();

        return (colorInt << 16) >> 16;
    }

您使用 16，因为 11 位数字是 0 填充的 16 位位置。IE 你有一个看起来像这样的数字： 1111 1111 0000 0### #### #### 其中 1 是 alpha 通道，零是填充，'#' 是实际值。向左移位 16 会留下 0000 0### #### #### 0000 0000，您想将我的移位推迟 16 次：0000 0000 0000 0### ##### ####

于 2011-01-24T19:41:57.810 回答
0

如果我错了，请纠正我，但据我了解，您的代码从 Kinect 接收深度数组，使用 将其转换为“世界”对象（具有 x、y、z 坐标）DepthToWorld，然后使用 将其转换为彩色二维数组WorldToColor。由此，您尝试检索每个像素相对于 Kinect 的距离（以米为单位）。对？

那么为什么不直接使用从 Kinect 获得的初始深度数组，然后RawDepthToMeters在每个像素上调用函数呢？

反转您的代码之前完成的操作是性能的巨大损失......

于 2011-01-24T00:53:04.317 回答