我在 TensorFlow 中实现了一个损失函数,用于计算均方误差。所有用于计算目标的张量都是 float64 类型,因此损失函数本身是 dtype float64。尤其是,
print cost
==> Tensor("add_5:0", shape=TensorShape([]), dtype=float64)
但是,当我尝试最小化时,我得到一个关于张量类型的值错误:
GradientDescentOptimizer(learning_rate=0.1).minimize(cost)
==> ValueError: Invalid type <dtype: 'float64'> for add_5:0, expected: [tf.float32].
当导致计算的所有变量都是 float64 类型时,我不明白为什么张量的预期 dtype 是单精度浮点数。我已经确认,当我将所有变量强制为 float32 时,计算会正确执行。
有没有人知道为什么会发生这种情况?我的电脑是64位机器。
这是一个重现行为的示例
import tensorflow as tf
import numpy as np
# Make 100 phony data points in NumPy.
x_data = np.random.rand(2, 100) # Random input
y_data = np.dot([0.100, 0.200], x_data) + 0.300
# Construct a linear model.
b = tf.Variable(tf.zeros([1], dtype=np.float64))
W = tf.Variable(tf.random_uniform([1, 2], minval=-1.0, maxval=1.0, dtype=np.float64))
y = tf.matmul(W, x_data) + b
# Minimize the squared errors.
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)
# For initializing the variables.
init = tf.initialize_all_variables()
# Launch the graph
sess = tf.Session()
sess.run(init)
# Fit the plane.
for step in xrange(0, 201):
sess.run(train)
if step % 20 == 0:
print step, sess.run(W), sess.run(b)