tensorflow - 张量流 - XLA | TF ops 如何降低到 XLA 进行训练

Question

在训练期间如何将 tensorflow 操作降低到 XLA 操作？

tensorflow/compiler/tf2xla/kernels 下的文件仅根据 ComputationBuilder 中的操作定义前向传递/推理。

这个问题与“ Tensorflow - XLA | 在运行时将张量传递给外部函数”有关，因为我需要降低到 XLA 操作的 TF 操作在训练和推理期间传递张量。也请分享您对另一个问题的看法。

谢谢

Answer 1

我的理解是，Tensorflow在将图形传递给 tf2xla 进行降低之前计算反向传播所需的导数。使用 tf2xla 将所有用于训练和推理的 Tensorflow 操作降低到 XLA；没有其他机制。