1

我尝试使用“梯度下降算法”来训练我的数据以最小化成本价值，

奇怪的是，结果根据步数的不同而不同。

下面是我的训练代码：

import tensorflow as tf
X = tf.placeholder(tf.float32, shape=[None, 2], name="X")
Y = tf.placeholder(tf.float32, shape=[None, 1], name="Y")
W = tf.Variable(tf.random_normal([2, 1]), name="weight")
b = tf.Variable(tf.random_normal([1]), name="bias")

hypo = tf.sigmoid(tf.matmul(X, W) +b)

cost = -tf.reduce_mean(Y*(tf.log*(hypo)) + (1-Y)*(tf.log(1-hypo)))
optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-3)
train = optimizer.minimize(cost)

#### Saving model
SAVER_DIR = "model"
saver = tf.train.Saver()
checkpoint_path = os.path.join(SAVER_DIR, "model")
ckpt = tf.train.get_checkpoint_state(SAVER_DIR)

sess = tf.Session()
sess.run(tf.global_variables_initializer())
for step in range(4201):
    cost_val, hy_val, _ = sess.run([cost, hypo, train], feed_dict={X:x_data, Y=y_data})

saver.save(sess, checkpoint_path, global_step=step)

并恢复模型：

saver = tf.train.import_meta_graph('./model/model-4200.meta')
saver.restore(sess,'./model/model-4200')

result = sess.run(hypo, feed_dict={X: x_data_test})

fig, ax = plt.subplots()
ax.plot(Julian_test,y_data_test,'ro-') # Correct answer. all items are one of the two:0 or 1.
ax.plot(Julian_test,result,'bo-')      # Result of training. Predict answer within
plt.show() #                            sigmoid function, so all items are in range of 0 ~ 1.

绘制 step = 4200

如图所示，sigmoid 的结果是相反的。

但是，当我将步数更改为5000时，（在我上面的代码中，我只更改了步数。）

结果正确地出来了。

绘制步长 = 5000

我不明白为什么它会引起反感。我错过了什么？确实需要帮助！

4

1 回答 1

1

简单来说，通过增加步骤，您可以让您的 tensorflow 代码/模型多次查看数据，从而使其能够了解有关数据的更多见解。并概括其表示。

EG 假设你给你的模型 2000 步，在 2000 步结束时它找到最小值，你的模型停在那里。但是如果模型到目前为止找到的最小成本不是全局最小值怎么办，我们不能说因为我们将它限制为 2000 步。因此，假设您将步数增加到 20000，模型现在找到了另一个最小值，它可以提供更准确的结果。

但是您需要确保您的模型不会过度拟合，即在您的训练数据上提供准确性，而不是在您的验证集上提供准确性。（因此请确保不要将 num 步数增加太多）。

于 2019-03-05T12:47:04.247 回答