2

我目前正在开发一个基于 SDK 0.3.2 和 OpenGL 3.2.0 的基本 Oculus Rift 应用程序,以让我习惯 3D 引擎和 Oculus Rift 技术。

现在我正在尝试在 Oculus 内渲染一个旋转的立方体。对于失真,我决定在 SDK 中使用 Oculus Rift 团队提供的渲染引擎。所以,首先我在一个单一的纹理中渲染我的场景,其中包含两个具有不同背景颜色的场景副本以进行可视化(现在我不关心立体方面),并且我知道它有效的事实:

纹理双重渲染截图 窗口太大,无法完全显示在屏幕上,但我们可以清楚地看到相同的场景。窗口在其中心被切割


编辑 4(最终):

经过大量的试验和错误,以及 Jherico 的建议,我设法让一切运行起来。

看来,重新编辑到Edit 3glBindBuffer(GL_ARRAY_BUFFER, vertexBuffer); ,我不得不每帧重新绑定顶点缓冲区。代码(没有立体或运动跟踪)可以在这里找到。注意:该模式MODE_OCULUS_DEBUG_不再起作用。Aaaand 图像被翻转。

最后...


编辑 3:

我跳到 SDK 0.4.1,并遵循了 Jherico 的所有建议(顺便说一句,非常感谢),我最终得到了这个。我真的不知道发生了什么事。但我注意到的一件事是,有时我必须使用绑定帧缓冲区glBindBuffer,有时glBindFramebuffer......请记住,在第一个屏幕截图上,纹理仍然与开始时完全相同。我觉得这是关于帧计时的问题。如果我足够快地触发第一帧的一半的过程,那么第一帧就没有错误。请注意,我每次触发一半渲染,这意味着我必须触发两次才能获得一帧。然后第二个总是和第一个一样,如果我触发它到第三个可能会很迟钝,然后它总是第四帧后出现故障。故障只出现一次,我无法让它出现两次,即使我等待了很长时间。

明天我会尝试调查,但如果您有任何想法,或者这是一个常见的 OpenGL 错误或误解,欢迎您提供帮助:)

你可以在这里找到代码

Oculus 故障


*编辑1: 我使用帧缓冲区在纹理中绘制场景。在ovrHmd_BeginFrame(hmd, 0)声明之后,我绑定帧缓冲区以进行离屏渲染:

请注意,textures[] 包含网格和星形,使用来自 shaderProgram 的片段着色器混合

glBindBuffer(GL_FRAMEBUFFER, frameBuffer);
glBindVertexArray(vertexArrayObject);
glEnable(GL_DEPTH_TEST);
glUseProgram(shaderProgram);
glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_2D, textures[0]);
glActiveTexture(GL_TEXTURE1);
glBindTexture(GL_TEXTURE_2D, textures[1]);

framebufferuis 在该函数中创建,在之后init_ovr()但之前调用init_render_ovr()

int init_framebuffers(){

    // Framebuffers
    //-----------------------------------------------
    // In order to display, it has to be "complete" (at least 1 color/depth/stencil buffer attached, 1color attachement, same number of multisamples, attachement completes)
    glGenFramebuffers(1, &frameBuffer);
    glBindFramebuffer(GL_FRAMEBUFFER, frameBuffer);


    // ---- Texture "Color Buffer"
    glGenTextures(1, &renderedTex);
    glBindTexture(GL_TEXTURE_2D, renderedTex);

    glTexImage2D(renderedTex, 0, GL_RGB, renderTargetSize.w / 2, renderTargetSize.h, 0, GL_RGB, GL_UNSIGNED_BYTE, NULL);

    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);

    // Attaching the color buffer to the frame Buffer
    glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, renderedTex, 0);



    // ---- RenderBuffer
    // Render Buffer (to be able to render Depth calculation)
    GLuint rboDepthStencil;
    glGenRenderbuffers(1, &rboDepthStencil);
    glBindRenderbuffer(GL_RENDERBUFFER, rboDepthStencil);
    glRenderbufferStorage(GL_RENDERBUFFER, GL_DEPTH24_STENCIL8, renderTargetSize.w / 2, renderTargetSize.h);

    // Attaching the render buffer to the framebuffer
    glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_DEPTH_STENCIL_ATTACHMENT, GL_RENDERBUFFER, rboDepthStencil);


    // Binding the Frame Buffer so the rendering happens in it
    glBindFramebuffer( GL_FRAMEBUFFER, frameBuffer );

    return 0;
}

*编辑2: 好的,这是我现在的渲染循环:

ovrFrameTiming hdmFrameTiming = ovrHmd_BeginFrame(hmd, 0);

        for (int eyeIndex = 0; eyeIndex < ovrEye_Count; eyeIndex++){

            ovrEyeType eye = hmdDesc.EyeRenderOrder[eyeIndex];
            ovrPosef eyePose = ovrHmd_BeginEyeRender(hmd, eye);

            // Clear the screen and the depth buffer (as it is filled with 0 initially, 
            // nothing will be draw (0 = on top);
            glClearColor(0.0f, 0.0f, 0.3f, 1.0f);
            glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT | GL_FRAMEBUFFER);

            // Drawing in the FrameBuffer
            glBindBuffer(GL_FRAMEBUFFER, frameBuffer);
            glBindVertexArray(vertexArrayObject);
            glEnable(GL_DEPTH_TEST);
            glUseProgram(shaderProgram);
            glActiveTexture(GL_TEXTURE0);
            glBindTexture(GL_TEXTURE_2D, textures[0]);
            glActiveTexture(GL_TEXTURE1);
            glBindTexture(GL_TEXTURE_2D, textures[1]);


            if (eye == ovrEye_Right){
                glScissor(renderTargetSize.w / 2, 0, renderTargetSize.w / 2, renderTargetSize.h);
                glViewport(renderTargetSize.w / 2, 0, renderTargetSize.w / 2, renderTargetSize.h);
            }else{
                glScissor(0, 0, renderTargetSize.w / 2, renderTargetSize.h);
                glViewport(0, 0, renderTargetSize.w / 2, renderTargetSize.h);
            }


            if (eye == ovrEye_Right)
                glClearColor(0.0f, 0.3f, 0.0f, 1.0f);
            else
                glClearColor(0.3f, 0.0f, 0.0f, 1.0f);
            glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);



            //Turn around Z
            trans = glm::rotate(
                trans,
                0.7f,
                glm::vec3(0.0f, 0.0f, 1.0f)
            );
            glUniformMatrix4fv(uniTrans, 1, GL_FALSE, glm::value_ptr(trans));

            // Drawing
            glDrawArrays(GL_TRIANGLES, 0, 36);

            // Unbind the custom frame Buffer
            glBindFramebuffer(GL_FRAMEBUFFER, 0);

            ovrHmd_EndEyeRender(hmd, eye, eyePose, &EyeTexture[eye].Texture);

        }

        ovrHmd_EndFrame(hmd);

还有我的渲染配置:

EyeTexture[0].OGL.Header.API = ovrRenderAPI_OpenGL;
EyeTexture[0].OGL.Header.TextureSize = recommendedTex0Size;
EyeTexture[0].OGL.Header.RenderViewport.Size = recommendedTex0Size;
EyeTexture[0].OGL.Header.RenderViewport.Pos.x = 0;
EyeTexture[0].OGL.Header.RenderViewport.Pos.y = 0;
EyeTexture[0].OGL.TexId = renderedTex;


EyeTexture[1].OGL.Header.API = ovrRenderAPI_OpenGL;
EyeTexture[1].OGL.Header.TextureSize = recommendedTex1Size;
EyeTexture[1].OGL.Header.RenderViewport.Size = recommendedTex1Size;
EyeTexture[1].OGL.Header.RenderViewport.Pos.x = recommendedTex1Size.w;
EyeTexture[1].OGL.Header.RenderViewport.Pos.y = 0;
EyeTexture[1].OGL.TexId = renderedTex;

但我仍然无法显示任何内容。


原帖:

所以现在我想使用 Oculus SDK 将这个纹理扭曲成一个桶。为此,我初始化了 Oculus 引擎:

int init_ovr(){

    // Init the OVR library
    ovr_Initialize();

    // Create the software device and connect the physical device
    hmd = ovrHmd_Create(0);
    if (hmd)
        ovrHmd_GetDesc( hmd, &hmdDesc );
    else
        return 1;

    //Configuring the Texture size (bigger than screen for barrel distortion)
    recommendedTex0Size = ovrHmd_GetFovTextureSize(hmd, ovrEye_Left, hmdDesc.DefaultEyeFov[0], 1.0f);
    recommendedTex1Size = ovrHmd_GetFovTextureSize(hmd, ovrEye_Right, hmdDesc.DefaultEyeFov[1], 1.0f);

    renderTargetSize.w = recommendedTex0Size.w + recommendedTex1Size.w;
    renderTargetSize.h = std::max( recommendedTex0Size.h, recommendedTex1Size.h );


    return 0;
}

和渲染:

int init_render_ovr(){

    // Configure rendering with OpenGL
    ovrGLConfig cfg;
    cfg.OGL.Header.API = ovrRenderAPI_OpenGL;
    cfg.OGL.Header.RTSize = OVR::Sizei( hmdDesc.Resolution.w, hmdDesc.Resolution.h );
    cfg.OGL.Header.Multisample = 0;
    cfg.OGL.Window = sdl_window_info.info.win.window;

    ovrFovPort eyesFov[2];
    // I also tried =  { hmdDesc.DefaultEyeFov[0], hmdDesc.DefaultEyeFov[1] };

    if ( !ovrHmd_ConfigureRendering(hmd, &cfg.Config, ovrDistortionCap_Chromatic | ovrDistortionCap_TimeWarp, eyesFov, eyesRenderDesc) )
        return 1;

    EyeTexture[0].OGL.Header.API = ovrRenderAPI_OpenGL;
    EyeTexture[0].OGL.Header.TextureSize = recommendedTex0Size;
    EyeTexture[0].OGL.Header.RenderViewport = eyesRenderDesc[0].DistortedViewport;
    EyeTexture[0].OGL.TexId = renderedTex;

    EyeTexture[1].OGL.Header.API = ovrRenderAPI_OpenGL;
    EyeTexture[1].OGL.Header.TextureSize = recommendedTex1Size;
    EyeTexture[1].OGL.Header.RenderViewport = eyesRenderDesc[1].DistortedViewport;
    EyeTexture[1].OGL.TexId = renderedTex;

    return 0;
}

最后,我进入我的主渲染循环

        ovrFrameTiming hdmFrameTiming = ovrHmd_BeginFrame(hmd, 0);

        for (int eyeIndex = 0; eyeIndex < ovrEye_Count; eyeIndex++){

            ovrEyeType eye = hmdDesc.EyeRenderOrder[eyeIndex];
            ovrPosef eyePose = ovrHmd_BeginEyeRender(hmd, eye);

            if (eye == ovrEye_Right){
                glScissor(renderTargetSize.w / 2, 0, renderTargetSize.w / 2, renderTargetSize.h);
                glViewport(renderTargetSize.w / 2, 0, renderTargetSize.w / 2, renderTargetSize.h);
            }else{
                glScissor(0, 0, renderTargetSize.w / 2, renderTargetSize.h);
                glViewport(0, 0, renderTargetSize.w / 2, renderTargetSize.h);
            }


            if (eye == ovrEye_Right)
                glClearColor(0.0f, 0.3f, 0.0f, 1.0f);
            else
                glClearColor(0.3f, 0.0f, 0.0f, 1.0f);
            glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);



            //Turn around Z
            trans = glm::rotate(
                trans,
                0.7f,
                glm::vec3(0.0f, 0.0f, 1.0f)
            );
            glUniformMatrix4fv(uniTrans, 1, GL_FALSE, glm::value_ptr(trans));

            // Drawing
            glDrawArrays(GL_TRIANGLES, 0, 36);


            ovrHmd_EndEyeRender(hmd, eye, eyePose, &EyeTexture[eye].Texture);

        }
        ovrHmd_EndFrame(hmd);

但结果是一个普通的黑屏。我试图将 glViewport 全部移动,手动设置 EyeRenderDesc 结构,我阅读了两次文档并非常严格地遵循它......但没有任何帮助。

我是不是在什么地方忘记了什么?我现在不知道在哪里看。

4

1 回答 1

4

代码有几个问题。首先,您设置的EyeTexture结构不正确。

EyeTexture[0].OGL.Header.TextureSize = recommendedTex0Size;
EyeTexture[0].OGL.Header.RenderViewport = eyesRenderDesc[0].DistortedViewport;

您在此处使用的DistortedViewport值指定了物理屏幕上将放置渲染场景的扭曲视图的区域。RenderViewport另一方面,纹理值应该是您渲染场景的屏幕外纹理区域。由于您几乎总是希望渲染到完整的纹理,因此通常这样做就足够了:

EyeTexture[0].OGL.Header.TextureSize = recommendedTex0Size;
EyeTexture[0].OGL.Header.RenderViewport.Size = recommendedTex0Size;
EyeTexture[0].OGL.Header.RenderViewport.Pos.x = 0;
EyeTexture[0].OGL.Header.RenderViewport.Pos.y = 0;

您在两个位置设置了相同的纹理 ID。

EyeTexture[0].OGL.TexId = renderedTex;
EyeTexture[1].OGL.TexId = renderedTex;

可以这样做,但是您必须将纹理设置为两倍宽,并将相应的 RenderViewport 值设置为每个目标纹理的一半。就我个人而言,我只是为每只眼睛使用不同的纹理来避免这种情况。

接下来,在您提供的代码示例中,您不会渲染到屏幕外缓冲区。

for (int eyeIndex = 0; eyeIndex < ovrEye_Count; eyeIndex++){
   ovrEyeType eye = hmdDesc.EyeRenderOrder[eyeIndex];
   ovrPosef eyePose = ovrHmd_BeginEyeRender(hmd, eye);

   ... lots of openGL viewport and draw calls ...

   ovrHmd_EndEyeRender(hmd, eye, eyePose, &EyeTexture[eye].Texture);
}

但是,要使 Oculus SDK 失真起作用,您不能直接绘制到主帧缓冲区。您需要针对EyeTexture数组中标识的纹理创建屏幕外帧缓冲区。

for (int eyeIndex = 0; eyeIndex < ovrEye_Count; eyeIndex++){
   ovrEyeType eye = hmdDesc.EyeRenderOrder[eyeIndex];
   ovrPosef eyePose = ovrHmd_BeginEyeRender(hmd, eye);

   ... activate offscreen framebuffer ...

   ... lots of openGL viewport and draw calls ...

   ... decativate offscreen framebuffer ...

   ovrHmd_EndEyeRender(hmd, eye, eyePose, &EyeTexture[eye].Texture);
}

你可以在这里看到一个完整的例子。当然,该示例已针对 0.4.x 进行了更新,因此您可能希望返回历史直到您看到ovrHmd_EndEyeRender(它已在最新的 SDK 中被删除)。

编辑:

我看了你发布的代码。它不完整,因为您没有包含您所依赖的标头。无论如何,仍然存在一些明显的问题:

            // Clear the screen and the depth buffer (as it is filled with 0 initially,
            // nothing will be draw (0 = on top);
            glClearColor(0.0f, 0.0f, 0.3f, 1.0f);
            glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT | GL_FRAMEBUFFER);

            // Drawing in the FrameBuffer
            glBindBuffer(GL_FRAMEBUFFER, frameBuffer);
            glBindRenderbuffer(GL_RENDERBUFFER, rboDepthStencil);
            glEnable(GL_DEPTH_TEST);
  • GL_FRAMEBUFFER 不是 glClear 的有效参数。我不知道它会产生什么影响,但它可能不会是你所期望的。
  • 在调用 glBindBuffer之前调用 glClear 意味着您实际上并没有清除屏幕外纹理目标。您正在清除实际的绘制帧缓冲区,SDK 在执行失真之前无论如何都会这样做。将 glClear 调用移至帧缓冲区操作内部。
  • 您不需要调用 glBindRenderbuffer。我不确定这会产生什么效果,但如果您已经将 depthStencil 渲染缓冲区附加到帧缓冲区对象,那么当您激活帧缓冲区时,它将被拉入并自动使用。
  • 您创建 renderTex 纹理,绑定它,设置一些值,然后保持绑定。它应该只绑定足够长的时间来设置参数。它应该在你调用的时候glFramebufferTexture2D被绑定,事实上它也不应该在你设置之后的任何时候被你绑定。
  • init_render_ovr您完全设置 EyeTexture[0] 中,但您只在 EyeTexture 1中设置了几个值。EyeTexture 1的值不默认为 EyeTexture[0] 中的值。您必须初始化每个成员。
  • 在您解决黑屏问题之前,您的代码应该大量使用 glGetError() 调用。我有一个 GL_CHECK_ERROR ,它在调试版本中扩展为如下所示:

    GLenum errorCode = glGetError(); 如果(错误代码!= 0){ 抛出错误(错误代码);}

于 2014-08-14T02:08:44.773 回答