我不清楚 NTM 如何初始化其内存以支持具有余弦距离的基于内容的寻址。很明显,初始存储单元值不能为零,但即使您将它们初始化为某个非零值(例如 1.0),所有单元看起来都相同,并且内存寻址机制将在存储单元上产生均匀分布。移位机制只会移动这种均匀分布,产生相同的均匀分布,并且锐化可能会锐化一些值,主要是由于噪声。
所以我看不出他们描述的记忆除了一直在各处写同样的东西(如果你不考虑一些噪音的话)还能如何使用。
我是否遗漏了什么,有人可以告诉我有关内存初始化的信息吗?
我不清楚 NTM 如何初始化其内存以支持具有余弦距离的基于内容的寻址。很明显,初始存储单元值不能为零,但即使您将它们初始化为某个非零值(例如 1.0),所有单元看起来都相同,并且内存寻址机制将在存储单元上产生均匀分布。移位机制只会移动这种均匀分布,产生相同的均匀分布,并且锐化可能会锐化一些值,主要是由于噪声。
所以我看不出他们描述的记忆除了一直在各处写同样的东西(如果你不考虑一些噪音的话)还能如何使用。
我是否遗漏了什么,有人可以告诉我有关内存初始化的信息吗?