我有一堂课,里面有一个模型:
class MyNetwork:
def __init__(self):
# layer initializations
self.optimizer = tf.train.RMSPropOptimizer(0.001)
self.loss = tf.losses.sigmoid_cross_entropy
def build(self):
# layer connections
self.model = keras.Model(inputs=[inputs], outputs=[outputs]
return self.model
@tf.function
def train_step(self, images, labels):
with tf.GradientTape() as tape:
predictions = self.model(images)
loss = self.loss(labels, predictions)
gradients = tape.gradient(loss, self.model.trainable_variables)
self.optimizer.apply_gradients(zip(gradients, self.model.trainable_variables))
return loss, predictions
我使用以下内容来构建模型:
network = MyNetwork()
model = network.build()
使用以下几行进行训练时:
model.compile(tf.train.RMSPropOptimizer(0.001), loss=tf.losses.sigmoid_cross_entropy, metrics=['accuracy']
model.fit(X, y, epochs=10)
模型训练没有任何问题。
但在单独运行中,使用以下代码:
for i in range(10):
print("Epoch ", (i))
loss, pred = D.train_step(X, y)
print(loss)
损失在几个 epoch 之后就卡住了。计算的准确度也停止在 0.5。
有谁知道如何使用 Keras 模型进行训练GradientTape
?