python - 使用 SHAP 时如何解释多类分类问题的 base_value？

Question

我正在使用 shap 库来实现 ML 可解释性，以更好地理解 k-means 分割算法集群。简而言之，我做了一些博客，使用 k-means 对它们进行聚类，然后将这些聚类作为标签并使用 xgboost 来尝试预测它们。我有 5 个集群，所以这是一个单标签多类分类问题。

import numpy as np
from sklearn.datasets import make_blobs
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans 
import xgboost as xgb
import shap

X, y = make_blobs(n_samples=500, centers=5, n_features=5, random_state=0)
data = pd.DataFrame(np.concatenate((X, y.reshape(500,1)), axis=1), columns=['var_1', 'var_2', 'var_3', 'var_4', 'var_5', 'cluster_id'])
data['cluster_id'] = data['cluster_id'].astype(int).astype(str)
scaler = StandardScaler()
scaled_features = scaler.fit_transform(data.iloc[:,:-1])
kmeans = KMeans(n_clusters=5, **kmeans_kwargs)
kmeans.fit(scaled_features)
data['predicted_cluster_id'] = kmeans.labels_.astype(int).astype(str)
clf = xgb.XGBClassifier()
clf.fit(scaled_data.iloc[:,:-1], scaled_data['predicted_cluster_id'])
shap.initjs()
explainer = shap.TreeExplainer(clf)
shap_values = explainer.shap_values(scaled_data.iloc[0,:-1].values.reshape(1,-1))
shap.force_plot(explainer.expected_value[0], shap_values[0], link='logit')  # repeat changing 0 for i in range(0, 5)

上面的图片很有意义，因为班级是“3”。但是为什么这个base_value，不应该是1/5吗？前段时间我问过自己一个类似的问题，但这次我已经设置了 link='logit'。

Answer 1

link="logit"似乎不适用于多类，因为它只适用于二进制输出。这就是为什么您看不到概率总和为 1 的原因。

让我们简化您的代码：

import numpy as np
from sklearn.datasets import make_blobs
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans 
import xgboost as xgb
import shap
from scipy.special import softmax, logit, expit
np.random.seed(42)

X, y_true = make_blobs(n_samples=500, centers=5, n_features=3, random_state=0)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
kmeans = KMeans(n_clusters=5)
y_predicted = kmeans.fit_predict(X_scaled, )

clf = xgb.XGBClassifier()
clf.fit(X_scaled, y_predicted)
shap.initjs()

然后，您在以下内容中看到的预期值：

explainer = shap.TreeExplainer(clf)
explainer.expected_value
array([0.67111245, 0.60223354, 0.53357694, 0.50821152, 0.50145331])

是原始空间中的基本分数。

多类原始分数可以转换为概率softmax：

softmax(explainer.expected_value)
array([0.22229282, 0.20749694, 0.19372895, 0.18887673, 0.18760457])

shap.force_plot(..., link="logit")对于多类没有意义，而且似乎不可能从原始切换到概率并且仍然保持可加性（因为 softmax(x+y) ≠ softmax(x) + softmax(y)）。

如果您希望在概率空间中分析您的数据，请尝试KernelExplainer：

from shap import KernelExplainer
masker = shap.maskers.Independent(X_scaled, 100)
ke = KernelExplainer(clf.predict_proba, data=masker.data)
ke.expected_value
# array([0.18976762, 0.1900516 , 0.20042894, 0.19995041, 0.21980143])
shap_values=ke.shap_values(masker.data)
shap.force_plot(ke.expected_value[0], shap_values[0][0])

或摘要图：

from shap import Explanation
shap.waterfall_plot(Explanation(shap_values[0][0],ke.expected_value[0]))

它们现在对概率空间中的 shap 值是相加的，并且与基本概率（见上文）和第 0 个数据点的预测概率很好地对齐：

clf.predict_proba(masker.data[0].reshape(1,-1))
array([[2.2844513e-04, 8.1287889e-04, 6.5225776e-04, 9.9737883e-01,
        9.2762709e-04]], dtype=float32)