15

我正在尝试在一场 openAI 健身房游戏上实现 DQL 模型。但它给了我以下错误。

TypeError: len 对于符号张量没有很好的定义。(activation_3/Identity:0) 请致电x.shape而不是询问len(x) 形状信息。

创建健身房环境：

ENV_NAME = 'CartPole-v0'

env = gym.make(ENV_NAME)
np.random.seed(123)
env.seed(123)
nb_actions = env.action_space.n

我的模型如下所示：

model = Sequential()
model.add(Flatten(input_shape=(1,) + env.observation_space.shape))
model.add(Dense(16))
model.add(Activation('relu'))
model.add(Dense(nb_actions))
model.add(Activation('linear'))
print(model.summary())

将该模型拟合到 keral-rl 的 DQN 模型，如下所示：

policy = EpsGreedyQPolicy()
memory = SequentialMemory(limit=50000, window_length=1)
dqn = DQNAgent(model=model, nb_actions=nb_actions, memory=memory, nb_steps_warmup=10, target_model_update=0.001, policy=policy)
dqn.compile(Adam(lr=1e-3), metrics=['mse', 'mae'])
dqn.fit(env, nb_steps=5000, visualize=False, verbose=3)

错误来自这一行：

dqn = DQNAgent(model=model, nb_actions=nb_actions, memory=memory, nb_steps_warmup=10, target_model_update=0.001, policy=policy)

我正在使用 keras-rl==0.4.2 和 tensorflow==2.1.0。根据其他答案，我也尝试了 tensorflow==2.0.0-beta0 但它没有解决错误。

有人可以向我解释为什么我会遇到这个错误吗？以及如何解决？

谢谢你。

4

2 回答 2

9

中断的原因是，tf.TensorTF 2.0.0（和 TF 1.15）__len__重载并引发异常。但是例如 TF 1.14 没有该__len__属性。

因此，任何 TF 1.15+（包括）都会中断keras-rl（特别是此处），这会给您上述错误。所以你有两个选择，

  • 降级到 TF 1.14（推荐）
  • 删除__len__TensorFlow 源代码中的重载（不推荐，因为这会破坏其他内容）
于 2020-01-15T04:27:00.023 回答
2

对我来说一个临时的解决方案是改变这条线

if hasattr(model.output, '__len__') and len(model.output) > 1:

在错误来自的代理文件中，在我的情况下为 dqn.py 到：

if hasattr(model.output, '__len__') and len([model.output.shape.dims.__len__()]) > 1:
于 2021-04-05T16:04:24.933 回答