使用 onehot 是有问题的,因为每个类别都将被编码为二进制并将其输入套索不允许选择整个类别变量,这就是我猜测的结果。你也可以看看这篇文章。
您可以在 python中使用组套索实现。下面我使用一个示例数据集:
import pandas as pd
import numpy as np
from sklearn.metrics import r2_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder
from group_lasso import GroupLasso
from group_lasso.utils import extract_ohe_groups
import scipy.sparse
data = pd.DataFrame({'cat1':np.random.choice(['A','B','C'],100),
'cat2':np.random.choice(['D','E','F'],100),
'bin1':np.random.choice([0,1],100),
'bin2':np.random.choice([0,1],100)})
data['y'] = 1.5*data['bin1'] + -3*data['bin2'] + 2*(data['cat1'] == 'A').astype('int') + np.random.normal(0,1,100)
定义分类和数字(二进制)列。您不需要 min max 缩放器,因为您的值是二进制的。接下来,我们对分类列进行 onehot 编码并提取组:
cat_columns = ['cat1','cat2']
num_columns = ['bin1','bin2']
ohe = OneHotEncoder()
onehot_data = ohe.fit_transform(data[cat_columns])
groups = extract_ohe_groups(ohe)
将 numeric 和 onehot 放在一起,您也可以将它们转换为密集的,但如果数据很大,则可能会出现问题:
X = scipy.sparse.hstack([onehot_data,scipy.sparse.csr_matrix(data[num_columns])])
y = data['y']
同样,构建组:
groups = np.hstack([groups,len(cat_columns) + np.arange(len(num_columns))+1])
groups
运行组套索:
grpLasso = GroupLasso(groups=groups,supress_warning=True,n_iter=1000)
grpLasso.sparsity_mask_
array([ True, True, True, False, False, False, True, True])
grpLasso.chosen_groups_
{0, 3, 4}
另请查看在管道中使用它的帮助页面。