5

我想对来自相机的图像进行一些图像处理并将其显示在 SurfaceView 上，但我不知道如何修改相机框架。我尝试使用 setPreviewCallbackWithBuffer 和 onPreviewFrame 但它们没有按预期工作，框架没有被修改。

/** A basic Camera preview class */
public class CameraPreview extends SurfaceView implements
        SurfaceHolder.Callback, Camera.PreviewCallback {
    private SurfaceHolder mHolder;
    private Camera mCamera;
    private byte[] mData;
    private long prevFrameTick = System.currentTimeMillis();
    Canvas mCanvas;

    public CameraPreview(Context context, Camera camera) {
        super(context);
        mCamera = camera;

        // Install a SurfaceHolder.Callback so we get notified when the
        // underlying surface is created and destroyed.
        mHolder = getHolder();
        mHolder.addCallback(this);
        Size previewSize = mCamera.getParameters().getPreviewSize();
        mData = new byte[(int) (previewSize.height * previewSize.width * 1.5)];
        initBuffer();
        // deprecated setting, but required on Android versions prior to 3.0
        mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
    }

    private void initBuffer() {
        mCamera.addCallbackBuffer(mData);
        mCamera.addCallbackBuffer(mData);
        mCamera.addCallbackBuffer(mData);
        mCamera.setPreviewCallbackWithBuffer(this);
    }

    public void setCamera(Camera cam) {
        mCamera = cam;
        initBuffer();
    }

    public void surfaceCreated(SurfaceHolder holder) {
        // The Surface has been created, now tell the camera where to draw the
        // preview.
        try {
            mCamera.setPreviewDisplay(holder);
            initBuffer();
            mCamera.startPreview();
        } catch (IOException e) {
            Log.d("APP",
                    "Error setting camera preview: " + e.getMessage());
        }
    }

    public void surfaceDestroyed(SurfaceHolder holder) {
        // empty. Take care of releasing the Camera preview in your activity.
    }

    public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {
        // If your preview can change or rotate, take care of those events here.
        // Make sure to stop the preview before resizing or reformatting it.

        if (mHolder.getSurface() == null) {
            // preview surface does not exist
            return;
        }

        // stop preview before making changes
        try {
            mCamera.stopPreview();
        } catch (Exception e) {
            // ignore: tried to stop a non-existent preview
        }

        // set preview size and make any resize, rotate or
        // reformatting changes here

        // start preview with new settings
        try {
            mCamera.setPreviewDisplay(mHolder);
            initBuffer();
            mCamera.startPreview();
        } catch (Exception e) {
            Log.d("APP",
                    "Error starting camera preview: " + e.getMessage());
        }
    }

    public void onPreviewFrame(byte[] data, Camera camera) {
        // System.arraycopy(data, 0, mData, 0, data.length);
        Log.e("onPreviewFrame", data.length + " "
                + (System.currentTimeMillis() - prevFrameTick));
        prevFrameTick = System.currentTimeMillis();
        mData = new byte[data.length];
        mCamera.addCallbackBuffer(mData);
    }
}
4

2 回答 2

10

如果您使用 setPreviewDisplay() 调用，则无法修改发送到 SurfaceView 的预览数据。预览视频流完全在您的应用程序之外进行管理，并且无法访问。

您可以采取以下几种选择：

  1. 您可以在 SurfaceView 之上放置第二个视图，例如 ImageView 或另一个 SurfaceView，并将 onPreviewFrame 回调接收到的数据绘制到此视图中。您必须从预览回调格式（通常是 NV21）进行一些颜色/像素格式转换以进行显示，显然您还必须首先对该数据运行图像处理。这不是很有效，除非您愿意编写一些 JNI 代码。

  2. 在 Android 3.0 或更高版本上，您可以使用Camera.setPreviewTexture()方法，并使用SurfaceTexture对象将相机预览流通过管道传输到 OpenGL 纹理中，然后您可以在显示之前在 OpenGL 中对其进行操作。然后你根本不需要预览回调。如果 GPU 处理足够，这将更有效。如果您想以其他方式显示/处理它，您还可以使用 OpenGL readPixels 调用将处理后的预览数据返回到您的应用程序。

于 2012-10-01T20:04:06.437 回答
0

也许它会对某人有所帮助。我通过使用 OpenCV 库从相机中检索帧解决了这个问题。在 OpenCv 3 中有一个方法 onCameraFrame(CvCameraViewFrame inputFrame)：

    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {

    // here you can do something with inputFrame before it appears on the preview

    return inputFrame.rgba();
}

您可以尝试从示例文件夹中的相机预览项目。

或者您可以在 ndk https://vec.io/posts/how-to-render-image-buffer-in-android-ndk-native-code中执行此操作 但我还没有尝试过这架飞机。

或者在这里您可以使用 NDK https://github.com/youten/YUV420SP在 C/C++ 中找到从 YUV 到 RGB 的解码

于 2015-12-21T13:27:39.110 回答