3

我是 Tensorflow 领域的新手，我正在研究 mnist 数据集分类的简单示例。我想知道除了准确性和损失（并可能显示它们）之外，我如何获得其他指标（例如精度、召回率等）。这是我的代码：

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.callbacks import TensorBoard
import os 

#load mnist dataset
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

#create and compile the model
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)), 
  tf.keras.layers.Dense(128, activation='relu'), 
  tf.keras.layers.Dropout(0.2), 
  tf.keras.layers.Dense(10, activation='softmax') 
])
model.summary()

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

#model checkpoint (only if there is an improvement)

checkpoint_path = "logs/weights-improvement-{epoch:02d}-{accuracy:.2f}.hdf5"

cp_callback = ModelCheckpoint(checkpoint_path, monitor='accuracy',save_best_only=True,verbose=1, mode='max')

#Tensorboard
NAME = "tensorboard_{}".format(int(time.time())) #name of the model with timestamp
tensorboard = TensorBoard(log_dir="logs/{}".format(NAME))

#train the model
model.fit(x_train, y_train, callbacks = [cp_callback, tensorboard], epochs=5)

#evaluate the model
model.evaluate(x_test,  y_test, verbose=2)

由于我只得到准确度和损失，我怎样才能得到其他指标？提前谢谢你，如果这是一个简单的问题，或者如果已经在某个地方得到回答，我很抱歉。

4

5 回答 5

2

从 TensorFlow 2.X 开始，precision都recall可以作为内置指标使用。

因此，您不需要手动实现它们。除此之外，它们之前在 Keras 2.X 版本中被删除，因为它们具有误导性——因为它们是以批量方式计算的，精度和召回率的全局（真实）值实际上是不同的。

你可以在这里看看：https ://www.tensorflow.org/api_docs/python/tf/keras/metrics/Recall

现在他们有一个内置的累加器，可以确保正确计算这些指标。

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy',tf.keras.metrics.Precision(),tf.keras.metrics.Recall()])
于 2020-03-10T12:08:17.977 回答
2

我正在添加另一个答案，因为这是在您的测试集上正确计算这些指标的最简洁方法（截至 2020 年 3 月 22 日）。

您需要做的第一件事是创建一个自定义回调，您可以在其中发送测试数据：

import tensorflow as tf
from tensorflow.keras.callbacks import Callback
from sklearn.metrics import classification_report 

class MetricsCallback(Callback):
    def __init__(self, test_data, y_true):
        # Should be the label encoding of your classes
        self.y_true = y_true
        self.test_data = test_data
        
    def on_epoch_end(self, epoch, logs=None):
        # Here we get the probabilities
        y_pred = self.model.predict(self.test_data))
        # Here we get the actual classes
        y_pred = tf.argmax(y_pred,axis=1)
        # Actual dictionary
        report_dictionary = classification_report(self.y_true, y_pred, output_dict = True)
        # Only printing the report
        print(classification_report(self.y_true,y_pred,output_dict=False)

在您的主目录中，您可以在其中加载数据集并添加回调：

metrics_callback = MetricsCallback(test_data = my_test_data, y_true = my_y_true)
...
...
#train the model
model.fit(x_train, y_train, callbacks = [cp_callback, metrics_callback,tensorboard], epochs=5)
于 2020-03-22T14:17:47.667 回答
1

Keras文档中有可用指标的列表。包括recall,precision等。

例如，回忆：

model.compile('adam', loss='binary_crossentropy', 
    metrics=[tf.keras.metrics.Recall()])
于 2020-03-10T11:54:54.520 回答
0

我无法得到 Timbus 的工作答案，我在这里找到了一个非常有趣的解释。

它说： The meaning of 'accuracy' depends on the loss function. The one that corresponds to sparse_categorical_crossentropy is tf.keras.metrics.SparseCategoricalAccuracy(), not tf.metrics.Accuracy(). 这很有意义。

因此，您可以使用哪些指标取决于您选择的损失。例如，在 SparseCategoricalAccuracy 的情况下使用度量标准“TruePositives”将不起作用，因为这种损失意味着您正在处理超过 1 个类别，这反过来意味着无法定义 True Positives，因为它仅用于二进制分类问题。

像这样的损失tf.keras.metrics.CategoricalCrossentropy()会起作用，因为它的设计考虑了多个类！例子：

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.callbacks import TensorBoard
import time
import os 

#load mnist dataset
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

#create and compile the model
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)), 
  tf.keras.layers.Dense(128, activation='relu'), 
  tf.keras.layers.Dropout(0.2), 
  tf.keras.layers.Dense(10, activation='softmax') 
])
model.summary()

# This will work because it makes sense
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy(),
                       tf.keras.metrics.CategoricalCrossentropy()])

# This will not work because it isn't designed for the multiclass classification problem
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy(),
                       tf.keras.metrics.TruePositives()])

#model checkpoint (only if there is an improvement)

checkpoint_path = "logs/weights-improvement-{epoch:02d}-{accuracy:.2f}.hdf5"

cp_callback = ModelCheckpoint(checkpoint_path,
                              monitor='accuracy',
                              save_best_only=True,
                              verbose=1,
                              mode='max')

#Tensorboard
NAME = "tensorboard_{}".format(int(time.time())) # name of the model with timestamp
tensorboard = TensorBoard(log_dir="logs/{}".format(NAME))

#train the model
model.fit(x_train, y_train, epochs=5)

#evaluate the model
model.evaluate(x_test,  y_test, verbose=2)

就我而言，其他 2 个答案给了我形状不匹配的问题。

于 2020-03-10T12:32:38.410 回答
-1

有关支持的指标列表，请参阅：

tf.keras 指标

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy',tf.keras.metrics.Precision(),tf.keras.metrics.Recall()])
于 2020-03-10T12:19:58.323 回答