12

我在 android vision api(示例在这里: https ://github.com/googlesamples/android-vision)中看到相机(camera1)现在已弃用,建议使用 camera2。

你们知道如何重写 CameraSource 以在 android vision 上使用 camera2 吗?

提前致谢,

4

3 回答 3

3

可以将 Camera2 API 与 Google Vision API 一起使用。

首先,Google Vision API 人脸检测器接收一个用于分析(检测人脸及其地标)的Frame对象。

Camera1 API 提供 NV21 图像格式的预览帧,非常适合我们。Google Vision Frame.Builder 支持setImageData(NV16、NV21 或 YV12 图像格式的 ByteBuffer)和setBitmap以使用位图作为要处理的预览帧。

您的问题是 Camera2 API 以不同的格式提供预览帧。它是YUV_420_888。为了使一切正常,您必须将预览帧转换为一种受支持的格式。

一旦您从ImageReader获取 Camera2 预览帧作为图像,您可以使用此函数将其转换为支持的格式(在本例中为 NV21)。

private byte[] convertYUV420888ToNV21(Image imgYUV420) {
    // Converting YUV_420_888 data to YUV_420_SP (NV21).
    byte[] data;
    ByteBuffer buffer0 = imgYUV420.getPlanes()[0].getBuffer();
    ByteBuffer buffer2 = imgYUV420.getPlanes()[2].getBuffer();
    int buffer0_size = buffer0.remaining();
    int buffer2_size = buffer2.remaining();
    data = new byte[buffer0_size + buffer2_size];
    buffer0.get(data, 0, buffer0_size);
    buffer2.get(data, buffer0_size, buffer2_size);
    return data;
}

然后您可以使用返回的 byte[] 创建一个 Google Vision Frame:

outputFrame = new Frame.Builder()
    .setImageData(nv21bytes, mPreviewSize.getWidth(), mPreviewSize.getHeight(), ImageFormat.NV21)
    .setId(mPendingFrameId)
    .setTimestampMillis(mPendingTimeMillis)
    .setRotation(mSensorOrientation)
    .build();

最后,使用创建的 Frame 调用检测器:

mDetector.receiveFrame(outputFrame);

无论如何,如果您想了解更多信息,可以在 GitHub 上免费测试我的工作示例:Camera2Vision。我希望我有帮助:)

于 2017-03-21T07:43:45.900 回答
2

请看一看

带有移动视觉的camera2?#65

好的,我找到了这个

官方 API 中没有针对 CameraSource 类的 camera2 版本的近期计划。但是,鉴于 API 的结构,CameraSource 的替代版本可以由使用 camera2 的开发人员社区编写。用于处理帧和检测器的所有现有 API 也足以支持 camera2 实现。

于 2017-01-18T06:30:54.637 回答
1

我没有尝试过下面的链接,因为我停止了 Google Android Vision 的工作,但我认为它对那些想要的人有好处:

https://medium.com/@mt1729/an-android-journey-barcode-scanning-with-mobile-vision-api-and-camera2-part-1-8a97cc0d6747

于 2019-12-27T08:56:24.973 回答