android - 有没有办法为 Android 的 tensorflowlite 启用 gpu

Question

有没有办法为 Android 的 tensorflowlite 启用 gpu？我在 android 中使用带有 tensorflow lite 的 inceptionv3 预训练模型，但推理大约需要 1-1.5 秒。我检查了 android 神经网络 api，但它只支持 android 8.1 及更高版本。

Answer 1

据我所知，市场上的大多数安卓手机都配备了带有 Adreno GPU 的高通芯片组。高通尚不支持 Adreno GPU 的接口，这意味着即使您将模型转换为 tflite，您获得的大部分加速都来自 Neon 优化，而不是来自 GPU。有计划支持下一代手机的 DSP，但到目前为止，市场上还没有支持 tflite 和 Qualcomm DSP (HVX) 的手机。希望这可以帮助。