0

我想在每个训练时期后用 Perplexity 评估我的模型。我正在使用带有 Tensorflow 后端的 Keras。问题是，在每次评估之后，越来越多的内存被使用但从未释放。所以在几个时代之后，我的系统崩溃了。如果我不使用 keras 和 tensorflow 函数，它可以在没有内存问题的情况下工作。但是那样会太慢了。这是代码：

def compute_perplexity(self, modelName, sentences):
    all_labels, all_predictions = self.predictLabels_for_perplexity_evaluation(self.models[modelName], sentences)
    # add an axis to fit tensor shape
    for i in range(len(all_labels)):
        all_labels[i] = all_labels[i][:,:, np.newaxis]

#calculate perplexity for each sentence length and each datapoint and append to list
perplexity = []
for i in range(10,15): #range(len(all_labels)):
    start = time.time()
    xentropy = K.sparse_categorical_crossentropy(tf.convert_to_tensor(all_labels[i]), tf.convert_to_tensor(all_predictions[i]))
    perplexity.append(K.eval(K.pow(2.0, xentropy)))
    print('time for one set of sentences. ', time.time()- start)
#average for each datapoint
for i in range(len(perplexity)):
    perplexity[i] = np.average(perplexity[i], axis=1)
    perplexity[i] = np.average(perplexity[i])

return np.mean(perplexity)
4

1 回答 1

0

无需使用 TensorFlow 评估此指标，您的代码所做的就是在all_labels每次调用数组时将数组添加到图中，这解释了您所看到的内存使用情况。

考虑使用 numpy 实现所有这些计算，或者使用feed_dict（不使用tf.convert_to_tensor）在会话中使用新数据进行评估。

于 2018-12-30T14:41:44.233 回答