我正在为 android 开发Mediapipe实时手部跟踪应用程序。提供的演示使用来自 SurfaceTexture 的相机输入,ExternalOES
我想使用来自 webrtc 的网络流。网络流采用 YUV_I420 格式,因此我将其转换为 RGB 并使用AndroidPacketCreator像这样创建 RGB 数据包。
Packet imagePacket = packetCreator.createRgbaImageFrame(yuv_converted_bimap);
然后将其传递给FrameProcessor
类中的媒体管道图
mediapipeGraph.addConsumablePacketToInputStream(
videoInputStream, imagePacket, custom_timestamp);
通过这种方式,一切正常,只有性能会下降,即如果它能够处理 4-5 FPS 的相机流,那么使用这种 YUV 到 RGB 的方法它只能处理 2-3 FPS。我想找到另一种可以直接使用 YUV 流发送媒体管道图的方法。我做了一些研究,但找不到任何东西。任何人有任何想法如何做到这一点?