14

我正在使用 pybrain 构建一个学习趋化性的代理（根据化学信号向食物移动）。代理由一个神经网络表示，它应该根据它与食物的距离来调整它的权重。输入是两个传感器神经元，输出是移动代理的两个运动神经元。因此，我有连续的状态和动作。奖励是与食物距离的倒数。

这是我的主循环的本质：

task = ChemotaxisTask(ChemotaxisEnv(), MAX_STEPS)
module = buildNetwork(2,2,2)
learner = HillClimber(task, module, maxEvaluations=MAX_TRIALS, mustMinimize=True, storeAllEvaluations=True, storeAllEvaluated=True, verbose=False)
learner.learn()

我尝试过的方法是：

  • 用 Q 进行实验（因为我有连续的状态/动作，所以不起作用）
  • 使用 Reinforce/ENAC 进行实验（梯度下降计算没有变化）
  • 使用 Reinforce/ENAC 进行连续实验（见上文）
  • 使用 HillClimber 进行 EpisodicExperiment（网络权重不变）

我决定尝试使用 EpisodicExperiment，因为它似乎最适合我的实验。

我终于可以看到网络权重发生了变化，但随着时间的推移，我的平均适应度并没有增加。我可能做错了什么？

这是我所有代码的 Gist 存储库：https ://gist.github.com/4477624

这是 pybrain 文档：http ://pybrain.org/docs/index.html 学习者文档（例如 Q、Reinforce、HillClimber）位于http://pybrain.org/docs/api/rl/learners.html。

代码本身位于https://github.com/pybrain/pybrain。学习者在https://github.com/pybrain/pybrain/tree/master/pybrain/rl/learners，实验在https://github.com/pybrain/pybrain/tree/master/pybrain/rl/实验。

但是，我正在使用带有 EpisodicExperiment 的优化学习器；这些位于https://github.com/pybrain/pybrain/tree/master/pybrain/optimization。

我相信您可以从那里找到通过文档和代码的方式。我正在使用的其他所有内容都在https://github.com/pybrain/pybrain/tree/master/pybrain/rl中。

4

0 回答 0