1

我担心将 Cartpole 代码理解为深度 Q 学习的示例。DQL代理部分代码如下:

class DQLAgent:
def __init__(self, env):
    # parameter / hyperparameter
    self.state_size = env.observation_space.shape[0]
    self.action_size = env.action_space.n
    
    self.gamma = 0.95
    self.learning_rate = 0.001 
    
    self.epsilon = 1  # explore
    self.epsilon_decay = 0.995
    self.epsilon_min = 0.01
    
    self.memory = deque(maxlen = 1000)
    
    self.model = self.build_model()
    
    
def build_model(self):
    # neural network for deep q learning
    model = Sequential()
    model.add(Dense(48, input_dim = self.state_size, activation = "tanh"))
    model.add(Dense(self.action_size,activation = "linear"))
    model.compile(loss = "mse", optimizer = Adam(lr = self.learning_rate))
    return model

def remember(self, state, action, reward, next_state, done):
    # storage
    self.memory.append((state, action, reward, next_state, done))

def act(self, state):
    # acting: explore or exploit
    if random.uniform(0,1) <= self.epsilon:
        return env.action_space.sample()
    else:
        act_values = self.model.predict(state)
        return np.argmax(act_values[0])

def replay(self, batch_size):
    # training
    if len(self.memory) < batch_size:
        return
    minibatch = random.sample(self.memory,batch_size)
    for state, action, reward, next_state, done in minibatch:
        if done:
            target = reward 
        else:
            target = reward + self.gamma*np.amax(self.model.predict(next_state)[0])
        train_target = self.model.predict(state)
        train_target[0][action] = target
        self.model.fit(state,train_target, verbose = 0)
        
def adaptiveEGreedy(self):
    if self.epsilon > self.epsilon_min:
        self.epsilon *= self.epsilon_decay

在训练部分,我们找到了我们的目标和train_target。那么我们为什么设置train_target[0][action] = target在这里呢?

学习时做出的每一个预测都是不正确的,但是由于误差计算和反向传播,在网络末端做出的预测会越来越接近,但是当我们在train_target[0][action] = target这里做的时候,误差就变成了0,在这种情况下,学习是?

4

1 回答 1

1

self.model.predict(state)将返回一个形状为 (1, 2) 的张量,其中包含每个动作的估计 Q 值(在 cartpole 中,动作空间是 {0,1})。如您所知,Q 值是对预期回报的衡量。

通过设置self.model.predict(state)[0][action] = target(其中目标是预期的奖励总和),它创建了一个目标 Q 值,用于训练模型。然后调用model.fit(state, train_target)它是使用目标 Q 值来训练所述模型以近似每个状态的更好 Q 值。

我不明白你为什么说损失变为0:目标设置为奖励的折扣总和加上当前奖励

target = reward + self.gamma*np.amax(self.model.predict(next_state)[0])

而最高 Q 值的网络预测是

np.amax(self.model.predict(next_state)[0])

目标值和预测值之间的损失是用来训练模型的。

编辑 - 更详细的解释

(您可以忽略预测值的[0],因为它只是访问正确的列并且在理解中并不重要)

目标变量设置为当前奖励与未来奖励的估计总和之间的总和,或Q。请注意,此变量称为目标,但它不是网络的目标,而是所选动作的目标 Q 值。

train_target变量用作您所谓的“数据集”。它代表网络的目标。

train_target = self.model.predict(state)
train_target[0][action] = target

你可以清楚地看到:

  • train_target[<taken action>] = reward + self.gamma*np.amax(self.model.predict(next_state)[0])
  • train_target[<any other action>] = <prediction from the model>

损失(均方误差):

prediction = self.model.predict(state)
loss = (train_target - prediction)^2

对于任何不是损失为 0。对于已设置的一行,损失为

(target - prediction[action])^2

或者

((reward + self.gamma*np.amax(self.model.predict(next_state)[0])) - self.model.predict(state)[0][action])^2

这明显不同于 0。


请注意,此代理并不理想。我强烈建议使用目标模型,而不是那样创建目标 Q 值。查看此答案以了解原因。

于 2021-05-31T14:02:57.643 回答