6

为了调试 Tensorflow 模型，我需要查看渐变是否发生了变化，或者其中是否有任何 nan。简单地在 Tensorflow 中打印一个变量是行不通的，因为你看到的是：

 <tf.Variable 'Model/embedding:0' shape=(8182, 100) dtype=float32_ref>

我尝试使用tf.Print类，但无法使其工作，我想知道它是否可以以这种方式实际使用。在我的模型中，我有一个训练循环，可以打印每个时期的损失值：

def run_epoch(session, model, eval_op=None, verbose=False):
    costs = 0.0
    iters = 0
    state = session.run(model.initial_state)
    fetches = {
            "cost": model.cost,
            "final_state": model.final_state,
    }
    if eval_op is not None:
        fetches["eval_op"] = eval_op

    for step in range(model.input.epoch_size):
        feed_dict = {}
        for i, (c, h) in enumerate(model.initial_state):
            feed_dict[c] = state[i].c
            feed_dict[h] = state[i].h

        vals = session.run(fetches, feed_dict)
        cost = vals["cost"]
        state = vals["final_state"]

        costs += cost
        iters += model.input.num_steps

    print("Loss:", costs)

    return costs

插入print(model.gradients[0][1])此函数将不起作用，因此我尝试在丢失打印后立即使用以下代码：

grads = model.gradients[0][1]
x = tf.Print(grads, [grads])
session.run(x)

但我收到以下错误消息：

ValueError: Fetch argument <tf.Tensor 'mul:0' shape=(8182, 100) dtype=float32> cannot be interpreted as a Tensor. (Tensor Tensor("mul:0", shape=(8182, 100), dtype=float32) is not an element of this graph.)

这是有道理的，因为tf.Print它确实不是图表的一部分。因此，我尝试tf.Print在实际图形中使用损失后计算，但效果不佳，我仍然得到Tensor("Train/Model/mul:0", shape=(8182, 100), dtype=float32).

如何在 Tensorflow 的训练循环中打印梯度变量？

4

1 回答 1

8

根据我的经验，在 tensorflow 中查看梯度流的最佳方法不是使用tf.Printtensorboard，而是使用 tensorboard。这是我在另一个问题中使用的示例代码，其中梯度是学习的关键问题：

for g, v in grads_and_vars:
  tf.summary.histogram(v.name, v)
  tf.summary.histogram(v.name + '_grad', g)

merged = tf.summary.merge_all()
writer = tf.summary.FileWriter('train_log_layer', tf.get_default_graph())

...

_, summary = sess.run([train_op, merged], feed_dict={I: 2*np.random.rand(1, 1)-1})
if i % 10 == 0:
  writer.add_summary(summary, global_step=i)

这将向您展示梯度随时间的分布。顺便说一句，要检查 NaN，在 tensorflow: 中有一个专用函数tf.is_nan。通常，您不需要检查梯度是否为 NaN：当它发生时，变量也会爆炸，这将在 tensorboard 中清晰可见。

于 2018-03-04T20:29:36.970 回答