10

我正在设计一个具有 OpenGL 处理管道（着色器集合）并同时要求最终用户查看未处理的相机预览的应用程序。

举例来说，假设您想向用户显示相机预览，同时计算从相机接收到的场景中红色对象的数量，但是您使用的任何着色器来计算对象，例如色调过滤，等不应该被用户看到。

我将如何正确设置它？

我知道我可以设置相机预览，然后在回调中接收 YUV 格式的相机帧数据，然后将其转储到 OpenGL 纹理中并以这种方式处理帧，但是，这会产生与之相关的性能问题。我必须将数据从相机硬件往返传输到 VM，然后将其传递回 GPU 内存。我正在使用SurfaceTexture直接以 OpenGL 可理解格式从相机获取数据并将其传递给我的着色器以解决此问题。

我认为我可以向SurfaceTexture最终用户展示相同的未处理内容，但TextureView没有构造函数或设置器，我可以将它传递给SurfaceTexture我希望它呈现的内容。它总是创造自己的。

这是我当前设置的概述：

  • GLRenderThread：此类从 Thread 扩展，设置 OpenGL 上下文、显示等，并使用 SurfaceTexture 作为表面（eglCreateWindowSurface 的第三个参数）。
  • GLFilterChain：对输入纹理执行检测的着色器集合。
  • Camera：使用单独的 SurfaceTexture 作为 GLFilterChain 的输入并抓取相机的预览
  • 最后是一个显示 GLRenderThread 的 SurfaceTexture 的 TextureView

显然，通过这种设置，我向用户展示了处理后的帧，这不是我想要的。此外，帧的处理不是实时的。基本上，我通过链运行来自相机的输入一次，一旦完成所有过滤器，我调用updateTexImage以从相机中获取下一帧。我在 Nexus 4 上的处理速度约为每秒 10 帧。

我觉得我可能需要使用 2 个 GL 上下文，一个用于实时预览，一个用于处理，但我不确定。我希望有人能把我推向正确的方向。

4

2 回答 2

0

你能上传一些你正在使用的代码吗？

您也许可以在为最初用于显示预览的表面视图创建并绑定到表面视图的纹理上调用 glDrawArrays，然后刷新它并将单独的纹理与其他纹理绑定以进行分析？就像是

GLES20.glUseProgram(simpleProgram);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textures[0]);
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);

GLES20.glUseProgram(crazyProgram);
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textures[1]);
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);

您的相机的预览表面纹理绑定到纹理[0]，然后为纹理[1]创建单独的表面纹理

也许？

于 2013-09-11T19:26:17.793 回答
0

除非您的处理速度比实时慢，否则答案很简单：只需保持原始相机纹理不变，将处理后的图像计算为不同的纹理，并在单个 GLView 中并排显示给用户。保持一个线程，因为所有的处理都发生在 GPU 上。多线程只会使问题复杂化。

处理步骤的数量并不重要，因为可以有任意数量的中间纹理（另见乒乓）永远不会显示给用户 - 没有人强迫你这样做。

实时的概念在这里可能令人困惑。只需将帧视为不可分割的时间快照。通过这样做，您将忽略图像从相机到屏幕所需的延迟，但如果您可以将其保持在交互式帧速率（例如每秒至少 20 帧），那么这主要是忽略。

另一方面，如果您的处理速度要慢得多，您需要选择在相机输入中引入延迟并仅每第 N 帧处理一次，或者实时交替显示每个相机帧并让下一个处理的帧滞后. 为此，您可能需要两个单独的渲染上下文来启用异步处理，这在 Android 上可能很难做到（或者可能就像创建第二个 GLView 一样简单，因为您可以在上下文之间没有数据共享的情况下生活）。

于 2014-05-18T12:18:12.123 回答