tensorflow - 在 vanilla 编码器-解码器架构中实现注意力

Question

我尝试了一个vanila enc-dec arch如下（英语到法语NMT）

我想知道如何在这里集成keras注意力层。也欢迎来自keras 文档或来自第三方 repo 的任何其他关注模块。我只需要集成它，看看它是如何工作的并对其进行微调。

完整代码可在此处获得。

在这篇文章中没有显示任何代码，因为它又大又复杂。

Answer 1

最后我解决了这个问题。我正在使用Thuhan Ganegedara的第三方注意力层。使用它的注意力层类。并将其集成到我的架构中，如下所示。