android - 如何利用 GPU 在 Android 上运行神经网络模型？

Question

有人尝试在 Android 上运行对象检测或 crnn 模型吗？我尝试运行 crnn 模型（序列化 pytorch），但在华为 P30 lite 上需要 1 秒，在三星 J4 Core 上需要 5 秒。

Huawei P30 lite
    CPU : octa core processor
    GPU : Mali-G51 MP4

Samsung J4
  CPU : quad core
  GPU : Adreno 308

android 设备中的 GPU 与专用 GPU 不同，因为它们没有 VRAM 和电源管理。CPU 和 GPU 共享相同的 RAM。在使用 GPU 在 PC 上运行模型之前，我们指定将我的计算放在 GPU 上，例如

model = MyModel()
model.cuda()

但是当我尝试在 Android 上运行模型时，它是否利用了这个内置的 GPU？或者由于这款八核处理器，我的华为的计算速度更快，但华为的 GPU 显然比我的三星设备更好。

score 1 · Accepted Answer

目前无法在 am ARM-GPU 上运行 pytorch：

我认为速度的差异是由不同的 cpu 造成的！

score 1 · Accepted Answer

如果您可以从 PyTorch 迁移，TFLite 效果很好。

具体来说，对于您的 Mali GPU，按照https://developer.arm.com/ip-products/processors/machine-learning/arm-nn - ArmNN 会将工作适当地分配给 CPU/GPU，在 Android NNAPI 下工作与 TFLite / Caffe2。

2 回答 2