我正在尝试处理具有以下形状的网络攻击的数据集:
df.shape
(1074992, 42)
攻击和正常行为的标签有以下计数:
df['Label'].value_counts()
normal 812814
neptune 242149
satan 5019
ipsweep 3723
portsweep 3564
smurf 3007
nmap 1554
back 968
teardrop 918
warezclient 893
pod 206
guesspasswd 53
bufferoverflow 30
warezmaster 20
land 19
imap 12
rootkit 10
loadmodule 9
ftpwrite 8
multihop 7
phf 4
perl 3
spy 2
Name: Label, dtype: int64
接下来,我将数据集拆分为特征和标签。
labels = df['Label']
features = df.loc[:, df.columns != 'Label'].astype('float64')
然后尝试平衡我的数据集。
print("Before UpSampling, counts of label Normal: {}".format(sum(labels == "normal")))
print("Before UpSampling, counts of label Attack: {} \n".format(sum(labels != "normal")))
Before UpSampling, counts of label Normal: 812814
Before UpSampling, counts of label Attack: 262178
所以你可以注意到攻击的数量与正常行为的数量不成比例。
我尝试使用 SMOTE 使少数(攻击)类与多数类(普通)具有相同的值。
sm = SMOTE(k_neighbors = 1,random_state= 42) #Synthetic Minority Over Sampling Technique
features_res, labels_res = sm.fit_resample(features, labels)
features_res.shape ,labels_res.shape
((18694722, 41), (18694722,))
我不明白这就是为什么我在应用 SMOTE 后得到 18694722 值的原因。
print("After UpSampling, counts of label Normal: {}".format(sum(labels_res == "normal")))
print("After UpSampling, counts of label Attack: {} \n".format(sum(labels_res != "normal")))
After UpSampling, counts of label Normal: 812814
After UpSampling, counts of label Attack: 17881908
对于我的情况,对 Normal 类进行下采样还是对 Attack 类进行上采样会更好吗?关于如何正确执行此操作的任何想法?
非常感谢。