neural-network - 神经图灵机中的内存初始化和寻址

Question

我不清楚 NTM 如何初始化其内存以支持具有余弦距离的基于内容的寻址。很明显，初始存储单元值不能为零，但即使您将它们初始化为某个非零值（例如 1.0），所有单元看起来都相同，并且内存寻址机制将在存储单元上产生均匀分布。移位机制只会移动这种均匀分布，产生相同的均匀分布，并且锐化可能会锐化一些值，主要是由于噪声。

所以我看不出他们描述的记忆除了一直在各处写同样的东西（如果你不考虑一些噪音的话）还能如何使用。

我是否遗漏了什么，有人可以告诉我有关内存初始化的信息吗？

Answer 1

我想我已经弄清楚了。我查看了插值以及它如何与移位相互作用。

内存单元上的分布是内存头状态的一部分。插值在先前分布和基于内容的余弦相似度生成的新分布之间进行选择。然后移位可以决定将头部向下移动一个单元格或向上移动一个单元格（或保持原位）。

假设存储器是空的并且初始寻址分布集中在第一个存储器单元周围。基于内容的机制将产生均匀分布，但插值机制可以决定忽略该均匀分布，采用初始分布（关注第一个单元格），随后，移位可以决定移动到下一个单元格。

因此大容量内存填充（将整个输入序列写入内存）将忽略基于内容的部分。