1 
import theano.tensor as T
import numpy as np
from nolearn.lasagne import NeuralNet

def multilabel_objective(predictions, targets):
    epsilon = np.float32(1.0e-6)
    one = np.float32(1.0)
    pred = T.clip(predictions, epsilon, one - epsilon)
    return -T.sum(targets * T.log(pred) + (one - targets) * T.log(one - pred), axis=1)

net = NeuralNet(
    # your other parameters here (layers, update, max_epochs...)
    # here are the one you're interested in:
    objective_loss_function=multilabel_objective,
    custom_score=("validation score", lambda x, y: np.mean(np.abs(x - y)))
)

我在网上找到了这段代码，想测试一下。它确实有效，结果包括训练损失、测试损失、验证分数和时间等。

但是我怎样才能得到 F1-micro 分数呢？另外，如果我在添加以下代码后尝试导入 scikit-learn 来计算 F1：

data = data.astype(np.float32) 
classes = classes.astype(np.float32)

net.fit(data, classes)

score = cross_validation.cross_val_score(net, data, classes, scoring='f1', cv=10)

print score

我收到了这个错误：

ValueError：无法处理多标签指示器和连续多输出的混合

如何基于上述代码实现 F1-micro 计算？

4

1 回答 1

1

假设您在测试集上的真实标签是y_true（形状：(n_samples, n_classes)，仅由 0 和 1 组成），并且您的测试观察结果是X_test（形状：）(n_samples, n_features)。

然后你在测试集上得到你的净预测值y_test = net.predict(X_test)。

如果您正在进行多类分类：

由于在您的网络中您已设置regression为False，因此它也应该仅由 0 和 1 组成。

您可以使用以下方法计算微平均 f1 分数：

from sklearn.metrics import f1_score
f1_score(y_true, y_pred, average='micro')

小代码示例来说明这一点（使用虚拟数据，使用您的实际y_test和y_true）：

from sklearn.metrics import f1_score
import numpy as np


y_true = np.array([[0, 0, 1], [0, 1, 0], [0, 0, 1], [0, 0, 1], [0, 1, 0]])
y_pred = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [0, 0, 1], [0, 0, 1]])

t = f1_score(y_true, y_pred, average='micro')

如果您正在进行多标签分类：

您输出的不是 0 和 1 的矩阵，而是概率矩阵。y_pred[i, j] 是观察 i 属于 j 类的概率。

您需要定义一个阈值，高于该阈值您会说观察属于给定类。然后，您可以相应地为标签分配属性，并按照与前一种情况相同的方式进行操作。

thresh = 0.8  # choose your own value 
y_test_binary = np.where(y_test > thresh, 1, 0) 
# creates an array with 1 where y_test>thresh, 0 elsewhere

f1_score(y_true, y_pred_binary, average='micro')
于 2015-09-15T09:42:00.723 回答