1

我们正在尝试使用这个美国手语数据集。该数据集包含美国手语字母的图片，包括 RGB 和深度图像。

我从链接下载了数据集。RGB 图像看起来不错，但深度图像完全是纯黑色。出了点问题。

由于所有数据集都很大，并且需要时间下载所有数据集；我在这里上传一个示例 RGB 图像和一个示例深度图像：

示例 RGB 图像 示例深度图像

由于深度图像应该有深度数据，我希望它有浮点值（他们说他们使用了 Kinect，而 Kinect 提供了浮点值）。如何使用 C# 读取这些浮动像素？我尝试了以下方法：

Bitmap bmp = new Bitmap("depth_0_0002.png");
int R = bmp.GetPixel(0,0).R;
int G = bmp.GetPixel(0,0).G;
int B = bmp.GetPixel(0,0).B;

但是，我需要浮点像素，它们是整数，并且它们具有无意义的值。

我是否需要包含第 3 方库？

4

1 回答 1

3

我自己试过了。通常深度数据是 16 位值。13 个高位包含距离，3 个低位包含用户分割图。

仅当骨架跟踪处于活动状态时才构建用户分割图，我相信您的示例中没有。虽然 rgb 值是 24 位，但它似乎可以工作。我从分割的手上得到一张图像。

Bitmap bmpOrg = new Bitmap("bKawM.png");
Bitmap bmp = new Bitmap(106, 119);

for (int i = 0; i < 106;i++ )
{
    for (int j = 0; j < 119;j++ )
    {
        Color rgb = bmpOrg.GetPixel(i, j);

        int bit24 = (rgb.B << 16 + rgb.G << 8 + rgb.R);
        int user = bit24 & 0x07;
        int realDepth = bit24 >> 3;

        bmp.SetPixel(i, j, Color.FromArgb(realDepth));
    }
}

pictureBox1.Image = bmp;

我的输出：

这就是它的样子

我又玩过了。首先，我在 Photoshop 中增加了亮度和对比度。因此，如果您不需要以毫米为单位的实际深度值，则可以使用 rgb 值。

增加亮度和对比度

然后我尝试使用 WPF 从图像中获取 16 位值，因为图像是 16 位灰度编码的。

Stream imageStreamSource = new FileStream("bKawM.png", FileMode.Open, FileAccess.Read, FileShare.Read);
PngBitmapDecoder decoder = new PngBitmapDecoder(imageStreamSource, BitmapCreateOptions.PreservePixelFormat, BitmapCacheOption.Default);
BitmapSource bitmapSource = decoder.Frames[0];

int height = bitmapSource.PixelHeight;
int width = bitmapSource.PixelWidth;
int stride = width * ((bitmapSource.Format.BitsPerPixel + 7) / 8);

byte[] bytes = new byte[height * stride];
bitmapSource.CopyPixels(bytes, stride, 0);

for (int x = 0; x < width; x++)
{
    for (int y = 0; y < height; y++)
    {
        byte low = bytes[y * stride + x + 0];
        byte high = bytes[y * stride + x + 1];

        ushort bit16 = (ushort)((high << 8) | low);

        int user = bit16 & 0x07;
        int realDepth = bit16 >> 3;

    }
}

我用深度值创建了一个新图像，它看起来很奇怪。我没有找到图像包含什么数据的任何信息。我不知道它是否包含用户数据（3 位），或者在保存到文件之前是否以某种方式转换了深度。

于 2013-03-01T21:50:21.407 回答