6

我正在使用CameraXMLKit 的 Analyzer 用例BarcodeScanner。我想裁剪从相机接收到的图像的一部分，然后再将其传递给扫描仪。

我现在正在做的是将ImageProxy（我在分析器中收到的）转换为 a Bitmap，裁剪它，然后将其传递给BarcodeScanner. 缺点是它不是一个非常快速和有效的过程。

我还注意到运行此代码时在 Logcat 中收到的警告：

ML Kit 检测到您似乎将相机帧作为位图对象传递给检测器。这是低效的。请使用 YUV_420_888 格式的 camera2 API 或 NV21 格式的（旧版）相机 API 并将字节数组直接传递给 ML Kit。

不进行ImageProxy转换会很好，但是如何裁剪要分析的矩形？

我已经尝试过设置(imageProxy.image.cropRect) 类cropRect的一个字段Image，但它似乎不会影响最终结果。

4

2 回答 2

3

是的，如果您使用 ViewPort 并将视口设置为您的 UseCases(imageCapture 或 imageAnalysis 在这里https://developer.android.com/training/camerax/configuration )，您只能获得有关裁剪矩形的信息，特别是如果您使用 ImageAnalysis （因为如果您使用 imageCapture，对于磁盘上的图像在保存之前被裁剪，并且它不适用于 ImageAnalysis 并且如果您使用 imageCapture 而不保存在磁盘上）以及这里解决方案我如何解决这个问题：

  1. 首先为用例设置视图端口，如下所示：https ://developer.android.com/training/camerax/configuration

  2. 获取裁剪的位图进行分析

    override fun analyze(imageProxy: ImageProxy) {
     val mediaImage = imageProxy.image
     if (mediaImage != null && mediaImage.format == ImageFormat.YUV_420_888) {
         croppedBitmap(mediaImage, imageProxy.cropRect).let { bitmap ->
             requestDetectInImage(InputImage.fromBitmap(bitmap, rotation))
                 .addOnCompleteListener { imageProxy.close() }
         }
     } else {
         imageProxy.close()
     }
 }

 private fun croppedBitmap(mediaImage: Image, cropRect: Rect): Bitmap {
     val yBuffer = mediaImage.planes[0].buffer // Y
     val vuBuffer = mediaImage.planes[2].buffer // VU

     val ySize = yBuffer.remaining()
     val vuSize = vuBuffer.remaining()

     val nv21 = ByteArray(ySize + vuSize)

     yBuffer.get(nv21, 0, ySize)
     vuBuffer.get(nv21, ySize, vuSize)

     val yuvImage = YuvImage(nv21, ImageFormat.NV21, mediaImage.width, mediaImage.height, null)
     val outputStream = ByteArrayOutputStream()
     yuvImage.compressToJpeg(cropRect, 100, outputStream)
     val imageBytes = outputStream.toByteArray()

     return BitmapFactory.decodeByteArray(imageBytes, 0, imageBytes.size)
 }

转换速度可能会有所下降，但在我的设备上我没有注意到差异。我在 compressToJpeg 方法中设置了 100 质量，但是 mb 如果设置的质量较低，它可以提高速度，它需要测试。

更新：21 年 5 月 2 日：

我找到了另一种方法，无需转换为 jpeg 再转换为位图。这应该是一种更快的方法。

  1. 将视口设置为以前的。

  2. 将 YUV_420_888 转换为 NV21，然后进行裁剪和分析。

     override fun analyze(imageProxy: ImageProxy) {
     val mediaImage = imageProxy.image
     if (mediaImage != null && mediaImage.format == ImageFormat.YUV_420_888) {
         croppedNV21(mediaImage, imageProxy.cropRect).let { byteArray ->
             requestDetectInImage(
                 InputImage.fromByteArray(
                     byteArray,
                     imageProxy.cropRect.width(),
                     imageProxy.cropRect.height(),
                     rotation,
                     IMAGE_FORMAT_NV21,
                 )
             )
                 .addOnCompleteListener { imageProxy.close() }
         }
     } else {
         imageProxy.close()
     }
 }

 private fun croppedNV21(mediaImage: Image, cropRect: Rect): ByteArray {
     val yBuffer = mediaImage.planes[0].buffer // Y
     val vuBuffer = mediaImage.planes[2].buffer // VU

     val ySize = yBuffer.remaining()
     val vuSize = vuBuffer.remaining()

     val nv21 = ByteArray(ySize + vuSize)

     yBuffer.get(nv21, 0, ySize)
     vuBuffer.get(nv21, ySize, vuSize)

     return cropByteArray(nv21, mediaImage.width, cropRect)
 }

 private fun cropByteArray(array: ByteArray, imageWidth: Int, cropRect: Rect): ByteArray {
     val croppedArray = ByteArray(cropRect.width() * cropRect.height())
     var i = 0
     array.forEachIndexed { index, byte ->
         val x = index % imageWidth
         val y = index / imageWidth

         if (cropRect.left <= x && x < cropRect.right && cropRect.top <= y && y < cropRect.bottom) {
             croppedArray[i] = byte
             i++
         }
     }

     return croppedArray
 }

我从这里获得的第一个裁剪乐趣： Android：如何使用 CameraX 裁剪图像？

我还发现了另一种作物乐趣，似乎更复杂：

private fun cropByteArray(src: ByteArray, width: Int, height: Int, cropRect: Rect, ): ByteArray {
    val x = cropRect.left * 2 / 2
    val y = cropRect.top * 2 / 2
    val w = cropRect.width() * 2 / 2
    val h = cropRect.height() * 2 / 2
    val yUnit = w * h
    val uv = yUnit / 2
    val nData = ByteArray(yUnit + uv)
    val uvIndexDst = w * h - y / 2 * w
    val uvIndexSrc = width * height + x
    var srcPos0 = y * width
    var destPos0 = 0
    var uvSrcPos0 = uvIndexSrc
    var uvDestPos0 = uvIndexDst
    for (i in y until y + h) {
        System.arraycopy(src, srcPos0 + x, nData, destPos0, w) //y memory block copy
        srcPos0 += width
        destPos0 += w
        if (i and 1 == 0) {
            System.arraycopy(src, uvSrcPos0, nData, uvDestPos0, w) //uv memory block copy
            uvSrcPos0 += width
            uvDestPos0 += w
        }
    }
    return nData
}

我从这里获得的第二次收获乐趣： https ://www.programmersought.com/article/75461140907/

如果有人可以帮助改进代码，我会很高兴。

于 2021-05-01T16:35:42.243 回答
-4

您将使用 ImageProxy.SetCroprect 获取矩形，然后使用 CropRect 设置它。例如，如果您有 imageProxy，您将执行：ImageProxy.setCropRect(Rect)，然后您将执行 ImageProxy.CropRect。

于 2020-12-28T16:16:35.673 回答