1

我担心将 Cartpole 代码理解为深度 Q 学习的示例。DQL代理部分代码如下：

class DQLAgent:
def __init__(self, env):
    # parameter / hyperparameter
    self.state_size = env.observation_space.shape[0]
    self.action_size = env.action_space.n
    
    self.gamma = 0.95
    self.learning_rate = 0.001 
    
    self.epsilon = 1  # explore
    self.epsilon_decay = 0.995
    self.epsilon_min = 0.01
    
    self.memory = deque(maxlen = 1000)
    
    self.model = self.build_model()
    
    
def build_model(self):
    # neural network for deep q learning
    model = Sequential()
    model.add(Dense(48, input_dim = self.state_size, activation = "tanh"))
    model.add(Dense(self.action_size,activation = "linear"))
    model.compile(loss = "mse", optimizer = Adam(lr = self.learning_rate))
    return model

def remember(self, state, action, reward, next_state, done):
    # storage
    self.memory.append((state, action, reward, next_state, done))

def act(self, state):
    # acting: explore or exploit
    if random.uniform(0,1) <= self.epsilon:
        return env.action_space.sample()
    else:
        act_values = self.model.predict(state)
        return np.argmax(act_values[0])

def replay(self, batch_size):
    # training
    if len(self.memory) < batch_size:
        return
    minibatch = random.sample(self.memory,batch_size)
    for state, action, reward, next_state, done in minibatch:
        if done:
            target = reward 
        else:
            target = reward + self.gamma*np.amax(self.model.predict(next_state)[0])
        train_target = self.model.predict(state)
        train_target[0][action] = target
        self.model.fit(state,train_target, verbose = 0)
        
def adaptiveEGreedy(self):
    if self.epsilon > self.epsilon_min:
        self.epsilon *= self.epsilon_decay

在训练部分，我们找到了我们的目标和train_target。那么我们为什么设置train_target[0][action] = target在这里呢？

学习时做出的每一个预测都是不正确的，但是由于误差计算和反向传播，在网络末端做出的预测会越来越接近，但是当我们在train_target[0][action] = target这里做的时候，误差就变成了0，在这种情况下，学习是？

4

1 回答 1

1

self.model.predict(state)将返回一个形状为 (1, 2) 的张量，其中包含每个动作的估计 Q 值（在 cartpole 中，动作空间是 {0,1}）。如您所知，Q 值是对预期回报的衡量。

通过设置self.model.predict(state)[0][action] = target（其中目标是预期的奖励总和），它创建了一个目标 Q 值，用于训练模型。然后调用model.fit(state, train_target)它是使用目标 Q 值来训练所述模型以近似每个状态的更好 Q 值。

我不明白你为什么说损失变为0：目标设置为奖励的折扣总和加上当前奖励

target = reward + self.gamma*np.amax(self.model.predict(next_state)[0])

而最高 Q 值的网络预测是

np.amax(self.model.predict(next_state)[0])

目标值和预测值之间的损失是用来训练模型的。

编辑 - 更详细的解释

（您可以忽略预测值的[0]，因为它只是访问正确的列并且在理解中并不重要）

目标变量设置为当前奖励与未来奖励的估计总和之间的总和，或Q值。请注意，此变量称为目标，但它不是网络的目标，而是所选动作的目标 Q 值。

train_target变量用作您所谓的“数据集”。它代表网络的目标。

train_target = self.model.predict(state)
train_target[0][action] = target

你可以清楚地看到：

  • train_target[<taken action>] = reward + self.gamma*np.amax(self.model.predict(next_state)[0])
  • train_target[<any other action>] = <prediction from the model>

损失（均方误差）：

prediction = self.model.predict(state)
loss = (train_target - prediction)^2

对于任何不是损失为 0。对于已设置的一行，损失为

(target - prediction[action])^2

或者

((reward + self.gamma*np.amax(self.model.predict(next_state)[0])) - self.model.predict(state)[0][action])^2

这明显不同于 0。

请注意，此代理并不理想。我强烈建议使用目标模型，而不是那样创建目标 Q 值。查看此答案以了解原因。

于 2021-05-31T14:02:57.643 回答