2

我正在研究简单的 GridWorld(3x4,如 Russell & Norvig Ch. 21.2 中所述)问题;我已经使用 Q-Learning 和 QTable 解决了它,现在我想使用函数逼近器而不是矩阵。

我正在使用 MATLAB 并尝试了神经网络和决策树,但没有得到预期的结果,即发现了错误的策略。我已经阅读了一些关于该主题的论文,但其中大多数都是理论性的,并没有过多地关注实际实现。

我一直在使用离线学习,因为它更简单。我的方法是这样的:

  1. 用 16 个输入二进制单元初始化决策树(或 NN)——网格中的每个位置一个,外加 4 个可能的动作(上、下、左、右)。
  2. 进行大量迭代,为每个迭代保存 qstate 和训练集中计算的 qvalue。
  3. 使用训练集训练决策树(或 NN)。
  4. 擦除训练集并从步骤 2 开始重复,使用刚刚训练的决策树(或 NN)来计算 qvalues。

这似乎太简单了,以至于我确实没有得到预期的结果。这是一些MATLAB代码:

retrain = 1;
if(retrain) 
    x = zeros(1, 16); %This is my training set
    y = 0;
    t = 0; %Iterations
end
tree = fitrtree(x, y);
x = zeros(1, 16);
y = 0;
for i=1:100
    %Get the initial game state as a 3x4 matrix
    gamestate = initialstate();
    end = 0;
    while (end == 0)
        t = t + 1; %Increase the iteration

        %Get the index of the best action to take
        index = chooseaction(gamestate, tree);

        %Make the action and get the new game state and reward
        [newgamestate, reward] = makeaction(gamestate, index);

        %Get the state-action vector for the current gamestate and chosen action
        sa_pair = statetopair(gamestate, index);

        %Check for end of game
        if(isfinalstate(gamestate))
            end = 1;
            %Get the final reward
            reward = finalreward(gamestate);
            %Add a sample to the training set
            x(size(x, 1)+1, :) = sa_pair;
            y(size(y,  1)+1, 1) = updateq(reward, gamestate, index, newgamestate, tree, t, end);
        else
            %Add a sample to the training set
            x(size(x, 1)+1, :) = sa_pair;
            y(size(y, 1)+1, 1) = updateq(reward, gamestate, index, newgamestate, tree, t, end);
        end

        %Update gamestate
        gamestate = newgamestate;
    end
end

它有一半时间选择一个随机动作。updateq函数是:

function [ q ] = updateq( reward, gamestate, index, newgamestate, tree, iteration, finalstate )

alfa = 1/iteration;
gamma = 0.99;

%Get the action with maximum qvalue in the new state s'
amax = chooseaction(newgamestate, tree);

%Get the corresponding state-action vectors
newsa_pair = statetopair(newgamestate, amax);    
sa_pair = statetopair(gamestate, index);

if(finalstate == 0)
    X = reward + gamma * predict(tree, newsa_pair);
else
    X = reward;
end

q = (1 - alfa) * predict(tree, sa_pair) + alfa * X;    

end

任何建议将不胜感激!

4

1 回答 1

2

问题在于,在离线 Q-Learning 中,您需要重复收集数据的过程至少n次,其中n取决于您要建模的问题。如果您分析在每次迭代期间计算的 qvalues 并考虑一下,就会立即清楚为什么需要这样做。

在第一次迭代中,你只学习最终状态,在第二次迭代中,你也在学习倒数第二个状态,在第三次迭代中,你也在学习倒数第二个状态,依此类推。您正在从最终状态学习到初始状态,并传播回 qvalues。在 GridWorld 示例中,结束游戏所需的最少访问状态数为 6。

最后,正确的算法变为:

  1. 用 16 个输入二进制单元初始化决策树(或 NN)——网格中的每个位置一个,外加 4 个可能的动作(上、下、左、右)。
  2. 进行大量迭代(对于这个 GridWorld 示例,30 场比赛就足够了),为每个迭代保存 qstate 和训练集中计算的 qvalue。
  3. 使用训练集训练决策树(或 NN)。
  4. 擦除训练集。
  5. 从第 2 步开始重复,使用刚刚训练好的决策树(或 NN)计算 qvalues,至少n,其中n取决于您的问题。对于此 GridWorld 示例, n为 6,但如果您重复该过程 7-8 次,您将在所有状态下获得更好的结果。
于 2015-07-30T12:41:13.200 回答