0

我们目前正在尝试将 Transformer 模型转换为 tensorflow-lite 图,但似乎问题在于自注意力机制。

我们无法处理图表。查看 tf-lite 代码,我们将其缩小到tf.matmullite 版本。

文档状态:

tf.matmul-只要第二个参数是常数并且不使用转置

然而,self-attention 就是这种情况:

在此处输入图像描述

(来源:注意力就是你所需要的

这种情况是否有已知的解决方法?

4

0 回答 0