8

TF 2.0 碰巧摆脱了contrib库。因此，所有喜欢tf.contrib.conv2d或的好东西tf.contrib.layers.variance_scaling_initializer都消失了。也就是说，您认为不使用 Keras（或使用一些 numpy hack 进行初始化）在 TF2.0 中进行 Xavier 初始化的最佳方法是什么？

也就是说，我坚持tf.nn.conv2d这个功能，我是提供权重的人：

filters = tf.Variable(tf.zeros([3, 3, 32, 64]))
??? # something should happen hear, i guess
net = tf.nn.conv2d(input, filters)

注意：万一您使用的是 TF 的第一个版本，您可以使用：

filters = tf.get_variable("w", shape=[3,3, 32, 64],
           initializer=tf.contrib.layers.xavier_initializer()) 
# no tf.contrib in 2.0, no tf.get_variable in 2.0
4

4 回答 4

17

在 tensorflow 2.0 中，您有一个包含tf.initializer您需要的所有类似 Keras 的初始化程序的包。

Xavier 初始化程序与 Glorot Uniform 初始化程序相同。因此，要使用从该初始化程序中采样的值创建一个(3,3)变量，您可以：

shape = (3,3)
initializer = tf.initializers.GlorotUniform()
var = tf.Variable(initializer(shape=shape))
于 2019-03-24T13:36:08.993 回答
3

只需使用glorot uniform initializer与 相同的xavier initializer。

来源：https ://www.tensorflow.org/api_docs/python/tf/glorot_uniform_initializer

这里还有一个例子来证明它们是相同的：

tf.reset_default_graph()
tf.set_random_seed(42)
xavier_var = tf.get_variable("w_xavier", shape=[3, 3], initializer=tf.contrib.layers.xavier_initializer())
sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(xavier_var))
# [[ 0.27579927 -0.6790426  -0.6128938 ]
#  [-0.49439836 -0.36137486 -0.7235348 ]
#  [-0.23143482 -0.3394227  -0.34756017]]
tf.reset_default_graph()
tf.set_random_seed(42)
glorot_var = tf.get_variable("w_glorot", shape=[3, 3], initializer=tf.glorot_uniform_initializer())
sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(glorot_var))
# [[ 0.27579927 -0.6790426  -0.6128938 ]
#  [-0.49439836 -0.36137486 -0.7235348 ]
#  [-0.23143482 -0.3394227  -0.34756017]]

此外，如果你想glorot uniform initializer与tf.Variable你可以这样做：

tf.reset_default_graph()
tf.set_random_seed(42)
normal_var = tf.Variable(tf.glorot_uniform_initializer()((3, 3)))
sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(normal_var))
# [[ 0.27579927 -0.6790426  -0.6128938 ]
#  [-0.49439836 -0.36137486 -0.7235348 ]
#  [-0.23143482 -0.3394227  -0.34756017]]
于 2019-03-24T10:54:54.480 回答
1

您可以从 Tensorflow v1 更改：

initializer=tf.contrib.layers.xavier_initializer()

到 TensorFlow v2：

initializer=tf.initializers.glorot_uniform()
于 2020-10-05T22:05:27.160 回答
1

来自 TensorFlow v1：

initializer=tf.contrib.layers.xavier_initializer(uniform=False)

到 TensorFlow v2：

initializer=tf.initializers.GlorotNormal()

文档GlorotNormal()

我根据 Tensorflow Guide 中的描述得出了这个答案。

于 2020-10-22T10:42:08.847 回答