initialization - GRU 单元的 Xavier 初始化

Question

试图初始化我的 seq2seq-model。我正在使用 GRU 单元，但无法弄清楚 Xavier-Initialization。rnn_cell.py 中的代码似乎不允许这样做。有任何想法吗？需要手动执行此操作吗？

谢谢

Answer 1

使用不指定参数创建tf.get_variable()单元格的权重。initializer来自https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variable：

如果initializer是None（默认值），将使用在变量范围中传递的默认初始化程序。

因此，应该像下面这样工作：

cell = tf.nn.rnn_cell.GRUCell(256)
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()):
    outputs, state = tf.nn.dynamic_rnn(cell, ...)