我有一个不平衡的数据集,我想对其进行下采样。
这是数据集:
testframe = pd.DataFrame()
testframe['id_unique'] = [0,0,0,1,1,1,2,2,2,3,3,3]
testframe['t'] = [1,2,3,1,2,3,1,2,3,1,2,3]
testframe['value'] = [10,11,12,21,22,23,31,32,33,41,42,43]
testframe['class'] = [1,1,1,2,2,2,1,1,1,1,1,1]
其中id_unique代表唯一的时间序列,t是值的顺序,value是测量值,class是时间序列所属的类。
这是一个不平衡的数据集,我想将其下采样为以下内容:
final_frame = pd.DataFrame()
final_frame['id_uniqe'] = [0,0,0,1,1,1]
final_frame['t'] = [1,2,3,1,2,3]
final_frame['value'] = [10,11,12,21,22,23]
final_frame['class'] = [1,1,1,2,2,2]
我试过了:
from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(sampling_strategy = 'all')
X_rus, y_rus= rus.fit_resample(df.drop(['classes'], axis = 1), df['classes'])
但显然这只是从原始数据名(属于多数类)中选择了一些行并将它们删除。结果,我从每个班级的每个时间序列中获得了一些片段,但是完整时间序列中的信息丢失了。
我正在寻找一种以某种方式对数据集进行下采样的方法,以便从多数类中删除整个时间序列(id_unique),并且我最终为每个类获得相同数量的完整时间序列。选择应该是随机的。
我尝试了一些 groupby 行,但它们都导致错误..
感谢您对此的任何提示!