3

我正在使用 Microsoft OnnxRuntime 来检测和分类图像中的对象，我想将其应用于实时视频。为此，我必须将每一帧转换为 OnnxRuntime 张量。现在我已经实现了一个大约需要 300 毫秒的方法：

public Tensor<float> ConvertImageToFloatTensor(Bitmap image)
    {
        // Create the Tensor with the appropiate dimensions  for the NN
        Tensor<float> data = new DenseTensor<float>(new[] { 1, image.Width, image.Height, 3 });

        // Iterate over the bitmap width and height and copy each pixel
        for (int x = 0; x < image.Width; x++)
        {
            for (int y = 0; y < image.Height; y++)
            {
                Color color = image.GetPixel(x, y);

                data[0, y, x, 0] = color.R / (float)255.0;
                data[0, y, x, 1] = color.G / (float)255.0;
                data[0, y, x, 2] = color.B / (float)255.0;
            }
        }

        return data;
    }

我需要此代码尽可能快地运行，因为我将检测器的输出边界框表示为视频顶部的一层。有谁知道进行这种转换的更快方法？

4

1 回答 1

5

根据 davidtbernal（在 C# 中快速使用位图）和 FelipeDurar（二进制数据中的灰度图像）的答案，您应该能够使用 LockBits 和一些“不安全”代码更快地访问像素

public Tensor<float> ConvertImageToFloatTensorUnsafe(Bitmap image)
{
    // Create the Tensor with the appropiate dimensions  for the NN
    Tensor<float> data = new DenseTensor<float>(new[] { 1, image.Width, image.Height, 3 });    
    
    BitmapData bmd = image.LockBits(new Rectangle(0, 0, image.Width, image.Height), System.Drawing.Imaging.ImageLockMode.ReadOnly, image.PixelFormat);
    int PixelSize = 3;

    unsafe
    {
        for (int y = 0; y < bmd.Height; y++)
        {
            // row is a pointer to a full row of data with each of its colors
            byte* row = (byte*)bmd.Scan0 + (y * bmd.Stride);
            for (int x = 0; x < bmd.Width; x++)
            {           
                // note the order of colors is BGR
                data[0, y, x, 0] = row[x*PixelSize + 2] / (float)255.0;
                data[0, y, x, 1] = row[x*PixelSize + 1] / (float)255.0;
                data[0, y, x, 2] = row[x*PixelSize + 0] / (float)255.0;
            }
        }

        image.UnlockBits(bmd);
    }
    return data;
}

我比较了这段平均运行 1000 次以上的代码，与您的原始代码相比，性能提高了大约 3 倍，但结果可能会有所不同。

另请注意，我每个像素使用了 3 个通道，因为您的原始答案仅使用这些值，如果您使用 32bpp 位图，您可以将 PixelSize 更改为 4，最后一个通道应该是 alpha 通道（行 [x*PixelSize + 3]）

于 2020-06-27T07:27:12.043 回答