reinforcement-learning - 在 Tensorflow JS Snake-DQN 示例中，为什么正在更新的优化器似乎根本没有链接到在线网络，如建议的那样？

Question

我考虑将这个问题放在项目的实际 GitHub 存储库中，但这可能是一个愚蠢的问题。这是回购：https ://github.com/tensorflow/tfjs-examples/tree/master/snake-dqn

如果您查看以下文件和行，您会发现正在更新的优化器似乎没有任何指向在线模型的链接；

首先，在线模型未使用 dqn.js 文件第 33-60 行中的任何优化器进行编译：https ://github.com/tensorflow/tfjs-examples/blob/master/snake-dqn/dqn.js#L60

然后在以下文件中初始化优化器，没有指向模型的链接；

文件 agent.js 第 60 行：https ://github.com/tensorflow/tfjs-examples/blob/master/snake-dqn/agent.js#L60

文件 train.js 第 84 行：https ://github.com/tensorflow/tfjs-examples/blob/master/snake-dqn/train.js#L84

文件 agent.js 第 157 行中使用的优化器：https ://github.com/tensorflow/tfjs-examples/blob/908ee32750ba750a14d15caeb53115e2d3dda2b3/snake-dqn/agent.js#L157

我没有看到其他参考资料，那么它实际上如何按照建议更新和训练在线网络？

顺便说一句，这实际上不是双 dqn 吗？