17 
from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np
from sklearn import linear_model
arr=['dogs cats lions','apple pineapple orange','water fire earth air', 'sodium potassium calcium']
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(arr)
feature_names = vectorizer.get_feature_names()
Y = ['animals', 'fruits', 'elements','chemicals']
T=["eating apple roasted in fire and enjoying fresh air"]
test = vectorizer.transform(T)
clf = linear_model.SGDClassifier(loss='log')
clf.fit(X,Y)
x=clf.predict(test)
#prints: elements

在上面的代码中，仅打印列表 Xclf.predict()中样本的 1 个最佳预测。我对列表 X中特定样本的前 3 个预测感兴趣，我知道该函数/返回列表 Y中每个特征的所有概率的列表，但它必须先排序，然后与列表 Y 中的特征关联，然后才能获得前3 名的结果。有没有直接有效的方法？predict_probapredict_log_proba

4

6 回答 6

19

没有内置函数，但是有什么问题

probs = clf.predict_proba(test)
best_n = np.argsort(probs, axis=1)[-n:]

?

正如评论之一所建议的那样，应更改[-n:]为[:,-n:]

probs = clf.predict_proba(test)
best_n = np.argsort(probs, axis=1)[:,-n:]
于 2015-09-10T00:20:16.263 回答
11

我知道这已经回答了......但我可以添加更多......

#both preds and truths are same shape m by n (m is number of predictions and n is number of classes)
def top_n_accuracy(preds, truths, n):
    best_n = np.argsort(preds, axis=1)[:,-n:]
    ts = np.argmax(truths, axis=1)
    successes = 0
    for i in range(ts.shape[0]):
      if ts[i] in best_n[i,:]:
        successes += 1
    return float(successes)/ts.shape[0]

它又快又脏，但我觉得它很有用。可以添加自己的错误检查等。

于 2018-02-01T21:31:00.147 回答
5

希望安德烈亚斯能对此有所帮助。当 loss='hinge' 时 predict_probs 不可用。要在 loss='hinge' 时获得前 n 类，请执行以下操作：

calibrated_clf = CalibratedClassifierCV(clfSDG, cv=3, method='sigmoid')
model = calibrated_clf.fit(train.data, train.label)

probs = model.predict_proba(test_data)
sorted( zip( calibrated_clf.classes_, probs[0] ), key=lambda x:x[1] )[-n:]

不确定 clfSDG.predict 和 calibrated_clf.predict 是否总是预测同一个类。

于 2017-08-09T19:05:31.530 回答
2

argsort以升序给出结果，如果你想用不寻常的循环或混乱来拯救自己，你可以使用一个简单的技巧。

probs = clf.predict_proba(test)
best_n = np.argsort(-probs, axis=1)[:, :n]

否定概率将从最小变为最大，因此您可以按降序获取前 n 个结果。

于 2020-06-30T13:07:56.860 回答
0

正如@FredFoo 在如何获取 NumPy 数组中 N 个最大值的索引中描述的那样？更快的方法是使用argpartition.

较新的 NumPy 版本（1.8 及更高版本）有一个argpartition 为此调用的函数。要获得四个最大元素的索引，请执行

>>> a = np.array([9, 4, 4, 3, 3, 9, 0, 4, 6, 0])
>>> a array([9, 4, 4, 3, 3, 9, 0, 4, 6, 0])
>>> ind = np.argpartition(a, -4)[-4:]
>>> ind array([1, 5, 8, 0])
>>> a[ind] array([4, 9, 6, 9])

与 不同argsort的是，这个函数在最坏的情况下以线性时间运行，但返回的索引没有排序，从评估的结果可以看出a[ind]。如果您也需要，请在之后对它们进行排序：

>>> ind[np.argsort(a[ind])] array([1, 8, 5, 0])

top-k以这种方式按排序顺序获取元素需要O(n + k log k)时间。

于 2020-08-20T19:34:30.783 回答
0

我编写了一个函数，它输出具有前 n 个预测及其概率的数据帧，并将其与类名联系起来。希望这有帮助！

def return_top_n_pred_prob_df(n, model, X_test, column_name):
  predictions = model.predict_proba(X_test)
  preds_idx = np.argsort(-predictions) 
  classes = pd.DataFrame(model.classes_, columns=['class_name'])
  classes.reset_index(inplace=True)
  top_n_preds = pd.DataFrame()
  for i in range(n):
        top_n_preds[column_name + '_prediction_{}_num'.format(i)] =     [preds_idx[doc][i] for doc in range(len(X_test))]
    top_n_preds[column_name + '_prediction_{}_probability'.format(i)] = [predictions[doc][preds_idx[doc][i]] for doc in range(len(X_test))]
    top_n_preds = top_n_preds.merge(classes, how='left', left_on= column_name + '_prediction_{}_num'.format(i), right_on='index')
    top_n_preds = top_n_preds.rename(columns={'class_name': column_name + '_prediction_{}'.format(i)})
    try: top_n_preds.drop(columns=['index', column_name + '_prediction_{}_num'.format(i)], inplace=True) 
    except: pass
  return top_n_preds
于 2021-03-09T17:35:29.817 回答