4

It seems like there are several ways to run Pytorch models on iOS.

  1. PyTorch(.pt) -> onnx -> caffe2
  2. PyTorch(.pt) -> onnx -> Core-ML (.mlmodel)
  3. PyTorch(.pt) -> LibTorch (.pt)
  4. PyTorch Mobile?

What is the difference between the above methods? Why people use caffe2 or Core-ml (.mlmodel), which requires model format conversion, instead of LibTorch?

4

1 回答 1

4

Core ML 可以使用 Apple 神经引擎 (ANE),这比在 CPU 或 GPU 上运行模型要快得多。如果设备没有 ANE,Core ML 可以自动回退到 GPU 或 CPU。

我还没有真正详细研究过 PyTorch Mobile,但我认为它目前只在 CPU 上运行,而不是在 GPU 上。而且它肯定不会在 ANE 上运行,因为只有 Core ML 可以做到这一点。

转换模型可能很麻烦,尤其是从 PyTorch 需要先通过 ONNX。但是您最终会以更快的方式运行这些模型。

于 2020-06-05T09:49:52.393 回答