3

我目前正在学习 TensorFlow，并遇到了这个 notebook。

我对如何实现均方误差成本函数有疑问：

import tensorflow as tf 
import numpy as np 

predicted = np.array([1,2,3])
Y = np.array([4,5,6])
num_instances = predicted.shape[0]

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_mean(tf.square(predicted - Y))

with tf.Session() as sess:
  print(sess.run(cost))
  print(sess.run(cost2))

我不明白为什么它必须将第一个成本函数的分母乘以 2。我从 MSE 的不同实现中得到了不同的答案，成本产生 4.5 而成本 2 产生 9。按照均方误差的公式，我应该得到一个 9 的值。但是第一个成本函数是在我试图学习的 python 笔记本中实现的。

4

1 回答 1

2

cost和之间的区别cost2正好2在2*num_instances. 基本上，

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_sum(tf.pow(predicted-Y, 2))/(num_instances)

标量2对学习的影响不大，相当于将学习率乘以2. 请注意，无论您使用什么公式和网络拓扑，您仍然需要选择合理的超参数，包括学习率。

您可以尝试检查两个损失函数的收敛性，我怀疑它们的性能相同。这意味着两个公式都很好，第二个更容易实现。

于 2018-01-28T09:14:12.347 回答