1

我正在尝试使用 GLSL 着色器将 YUV(YV12) 转换为 RGB。

如下步骤。

  1. 从图像文件中读取原始 YUV(YV12) 数据
  2. 从原始 YUV(YV12) 数据中过滤 Y、Cb 和 Cr
  3. 贴图纹理
  4. 发送片段着色器。

但结果图像与原始数据不同。

下图是原始数据。

原始图像链接截图（可供下载）

下图是转换数据。

转换图片链接截图（可供下载）

下面是我的源代码。

- (void) readYUVFile     
{    
      ...     
      NSData* fileData = [NSData dataWithContentsOfFile:file];    
      NSInteger width  = 720;    
      NSInteger height = 480;    
      NSInteger uv_width  = width  / 2;    
      NSInteger uv_height = height / 2;    
      NSInteger dataSize = [fileData length];    

      GLint nYsize  = width * height;     
      GLint nUVsize = uv_width * uv_height;      
      GLint nCbOffSet = nYsize;    
      GLint nCrOffSet = nCbOffSet + nUVsize;    

      Byte* uData = spriteData + nCbOffSet;    
      Byte* vData = uData + nUVsize;    
      GLfloat imageY[ 345600 ], imageU[ 86400 ], imageV[ 86400 ];    

      int x, y, nIndexY = 0, nIndexUV = 0;    
      for( y = 0; y < height; y++ )    
      {    
                for( x = 0; x < width; x++ )    
                {    
                          imageY[ nIndexY ] = (GLfloat)spriteData[ nIndexY ] - 16.0;    
                          if( (y < uv_height) && (x < uv_width) )    
                          {        
                                    imageU[ nIndexUV ] = (GLfloat)uData[ nIndexUV ] - 128.0;    
                                    imageV[ nIndexUV ] = (GLfloat)vData[ nIndexUV ] - 128.0;    
                                    nIndexUV++;    
                          }    
                          nIndexY++;    
                }    
      }     

      m_YpixelTexture = [self textureY:imageY widthType:width heightType:height];    
      m_UpixelTexture = [self textureU:imageU widthType:uv_width heightType:uv_height];    
      m_VpixelTexture = [self textureV:imageV widthType:uv_width heightType:uv_height];    

      ...    
 }


- (GLuint) textureY: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE0 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}    

- (GLuint) textureU: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE1 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}    

- (GLuint) textureV: (GLfloat*)imageData        
          widthType: (int) width       
         heightType: (int) height       
{          
    GLuint texName;    
    glActiveTexture( GL_TEXTURE2 );    
    glGenTextures( 1, &texName );     
    glBindTexture( GL_TEXTURE_2D, texName );    

    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);    
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);    

    glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA, width, height, 0, GL_RGBA, GL_UNSIGNED_BYTE, imageData );    

    return texName;    
}

以下是片段着色器的源代码。

uniform sampler2D Ytexture; // Y Texture Sampler    
uniform sampler2D Utexture; // U Texture Sampler    
uniform sampler2D Vtexture; // V Texture Sampler    
varying highp vec2 TexCoordOut;    

void main()    
{    
    highp float y, u, v;
    highp float r, g, b;

    y = texture2D( Ytexture, TexCoordOut ).p;
    u = texture2D( Utexture, TexCoordOut ).p;
    v = texture2D( Vtexture, TexCoordOut ).p;

    y = 1.1643 * ( y - 0.0625 );
    u = u - 0.5;
    v = v - 0.5;

    r = y + 1.5958 * v;
    g = y - 0.39173 * u - 0.81290 * v;
    b = y + 2.017 * u;

    gl_FragColor = highp vec4( r, g, b, 1.0 );
}

Y数据好，但U和V数据不好。并且图像数据的y轴是反向输出。

如何解决这个问题？

4

1 回答 1

1

由于轴上的简单分歧，图像可能在水平方向上镜像 - OpenGL 遵循坐标纸约定，其中 (0, 0) 是左下角，y 轴朝上，而几乎所有图形图像格式都遵循英文阅读顺序约定，其中 (0, 0) 是左上角，y 轴朝下。只需翻转您的输入 y 坐标（如有必要，在顶点着色器中）。

至于颜色，第二个屏幕截图目前对我不起作用（根据我的评论），但我最好的猜测是你在构建 imageU 和 imageV 时减去 128，然后在着色器中再次减去 0.5。大概你实际上只想做一个或另一个（特别是在着色器中做，因为纹理数据是无符号的）？您对 imageY 犯了同样的错误，但最终效果只是使图像稍微变暗，而不是将所有颜色移动到比例的一半。

我唯一的另一个想法是您的各个纹理只有一个通道，因此最好将它们上传为 GL_LUMINANCE 而不是 GL_RGBA。

于 2012-02-01T01:44:14.840 回答