我们目前正在尝试将 Transformer 模型转换为 tensorflow-lite 图,但似乎问题在于自注意力机制。
我们无法处理图表。查看 tf-lite 代码,我们将其缩小到tf.matmul
lite 版本。
文档状态:
tf.matmul
-只要第二个参数是常数并且不使用转置
然而,self-attention 就是这种情况:
(来源:注意力就是你所需要的)
这种情况是否有已知的解决方法?
我们目前正在尝试将 Transformer 模型转换为 tensorflow-lite 图,但似乎问题在于自注意力机制。
我们无法处理图表。查看 tf-lite 代码,我们将其缩小到tf.matmul
lite 版本。
文档状态:
tf.matmul
-只要第二个参数是常数并且不使用转置
然而,self-attention 就是这种情况:
(来源:注意力就是你所需要的)
这种情况是否有已知的解决方法?