8

在 Jelly Bean 中,是否可以从相机预览填充的 SurfaceTexture 中创建 Renderscript 分配?我正在从 Android 源代码树中构建我的应用程序,所以我可以使用 @hide API,例如 Allocation.setSurfaceTexture()。但是我想避免使用 RS Graphics 已弃用的 API。这里的类似问题没有得到完全回答,也不是 JB 特有的。

尝试以下代码时遇到以下问题:

  • 进入 Renderscript 的数据始终为零
  • 要重复调用 onFrameAvailable 回调,我必须 updateTexImage(),因为当我调用 Allocation.ioReceive() 时,它在第一次之后不再被回调,并且 logcat 中有一个“无效的 EGLDisplay”。然而我认为 ioReceive() 是要走的路——它在内部也是 updateTexImage()。
  • 支持的分配类型包括 RGBA8888 但不包括 NV21(这是相机预览格式),RS 代码将如何处理以这种方式格式化的数据?

(我知道我正在使用的设备确实支持请求的 VGA 分辨率)。

public class SampleRSCPCActivity extends Activity implements SurfaceTexture.OnFrameAvailableListener {
final static int DO_KERNEL = 0;
private static final String TAG="SAMPLERSCP";
private static Camera mCamera;
private Camera.Parameters mParams;
private int mFrameWidth, mFrameHeight;
private static SurfaceTexture mST;
private RenderScript mRS;
private Allocation mInAllocation;
private Allocation mOutAllocation;
private ScriptC_mono mScript;

public void onCreate(Bundle savedInstanceState) {

    super.onCreate(savedInstanceState);

    Log.i(TAG, "onCreate()");
    createGUI();
    createCamera();
    createRSEnvironment();
}

public void onPause() {
    Log.i(TAG, "onPause");
    mCamera.stopPreview();
    mCamera.release();
    mCamera = null;
    super.onPause();
}

private void createCamera() {
    mCamera = Camera.open();
    mParams = mCamera.getParameters();

    mFrameWidth = 640;
    mFrameHeight = 480;
    mParams.setPreviewSize(mFrameWidth, mFrameHeight);
    mParams.setPreviewFormat(ImageFormat.NV21);

    mCamera.setParameters(mParams);
}

private void createRSEnvironment () {
    mRS = RenderScript.create(this);
    mScript = new ScriptC_mono(mRS, getResources(), R.raw.mono);

    Type.Builder b = new Type.Builder(mRS, Element.U8(mRS));

    int usage = Allocation.USAGE_SCRIPT | Allocation.USAGE_IO_INPUT;
    mInAllocation = Allocation.createTyped(mRS, b.setX(mFrameWidth).setY(mFrameHeight).create(), usage);
    mOutAllocation = Allocation.createTyped(mRS, b.setX(mFrameWidth).setY(mFrameHeight).create());

    Log.i(TAG, "Getting SurfaceTexture from input Allocation");
    mST = mInAllocation.getSurfaceTexture();

    mST.setOnFrameAvailableListener(this);

    try {
      Log.i(TAG, "Setting SurfaceTexture for camera preview");
      mCamera.setPreviewTexture(mST);

      Log.i(TAG, "Starting preview");
      mCamera.startPreview();
      } catch (IOException e) {
      Log.e(TAG, "Oops, something got wrong with setting the camera preview texture");
    }
}

private void createGUI() {
    requestWindowFeature(Window.FEATURE_NO_TITLE);
    getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN, 
            WindowManager.LayoutParams.FLAG_FULLSCREEN);

    setContentView(R.layout.main);
}

private Handler handler = new Handler() {
    @Override
    public void handleMessage(Message msg) {
        if (msg.what == DO_KERNEL)
          Log.i(TAG, "Calling RS kernel");
          mST.updateTexImage();
          // mInAllocation.ioReceive();
          mScript.forEach_root(mInAllocation, mOutAllocation);

          Log.i(TAG, "Finishing RS");
          mRS.finish();
          Log.i(TAG, "Ok");
    }
};

public void onFrameAvailable(SurfaceTexture st) {
  Log.i(TAG, "onFrameAvailable callback");
  handler.sendEmptyMessage(DO_KERNEL);
}

}

RS 代码相当简单,只是尝试检测非空数据:

void root(const uchar *v_in, uchar *v_out, uint32_t x, uint32_t y) {

if (*v_in != 0)
  rsDebug("input data non null !", *v_in);
*v_out = (x / 640) * 255;

}

4

1 回答 1

6

跟进我自己的问题:

事实证明,从相机填充的 SurfaceTexture 读取 NV21 缓冲区是不可能的。我不得不修改 Android 源代码来进行实验(对于专家:获取 SurfaceTexture 的当前缓冲区,然后将其锁定以获得真正的缓冲区指针 - 我在 RS Driver 的 rsdAllocationIoReceive() 中完成了此操作)。这对于避免执行从相机到 RS 的缓冲区复制非常有用。

最新的 JB(MR1 版本)有一个名为 LivePreview 的测试应用程序,它对相机预览执行 RS 处理。但是,它使用应用程序分配的预览回调缓冲区,然后将其复制到输入分配。有趣的是,它使用新的 ScriptIntrinsicRgbToYuv 类进行颜色转换。大部分转换是手工编码的 Neon 组件,因此可能相当快。

甚至可能是 Nexus 10(具有 Mali 支持的 RS 驱动程序)在 GPU 上执行此操作,我很想亲手使用这个设备。(欢迎捐赠者 ;-) !)

于 2012-11-26T13:39:57.773 回答