tensorflow - Tensorflow XLA 和 Tensorflow Lite / Android NNAPI 有什么区别？

Question

Tensorflow 推出了 XLA 编译器，该编译器编译了针对 LLVM 的后端 C++ tensorflow。我对 XLA 的理解是，只要有 LLVM -> 设备支持，它就是向支持通用加速设备迈出的一步。

Tensorflow lite 是最近发布的，取代了 Tensorflow Mobile，并且似乎是工作的重点是针对嵌入式和移动设备，明显关注嵌入式 DSP 和 GPU 作为这些环境中常见的可选处理器。Tensorflow lite 似乎将操作移交给 Android NNAPI（神经网络 API），并支持 tensorflow OP 的子集。

所以这就引出了一个问题：Google 将朝着哪个方向支持非 CUDA 设备？XLA 的用例是否超出了我的描述？

Answer 1

我在 XLA 上工作。XLA 编译器具有三个后端：用于 CPU、GPU 和 TPU。CPU 和 GPU 基于 LLVM 并且是开源的，而 TPU 是闭源的。

我不知道 XLA 的移动设备计划是什么，所以我不能对此发表评论。

通过将 XLA 与 TF 模型一起使用而不是直接执行模型，您获得的一个好处是 XLA 为您融合了很多操作。例如看这篇文章。