0

我正在研究异常检测模型，需要帮助来识别数据传输中的异常。示例：如果员工使用 VPN 连接并且我们有以下数据使用情况：

 EMPID  date       Bytes_sent  Bytes recieved
 A123  Timestamp    222222     3333333
 A123  Timestamp    444444     6666666
 A123  Timestamp    99999999   88888888888

我想将第 3 行标记为异常，因为员工一直在某个范围内发送或接收，然后突然跳跃。我想跟踪最近几天发送和接收的字节数——这意味着他的行为在最近几天发生了怎样的变化。

4

1 回答 1

1

一种方法是为每个观察保留额外的指标：
对于 Bytes_recieved：

  • 观察是否为异常值的指标。这将由观察到的 Bytes_recieved 是否超出最后观察到的平均值加上减去最后观察到的 SD 来决定，如下所述。
  • 最近 N 个非异常事件的运行平均值。
  • 最近 N 个非异常事件的标准偏差。

N 将基于您要考虑的观察量。你提到了最近几天，所以你可以设置N = "recent" * average events per day

例如： 

 EMPID date      Bytes_sent  Bytes_recieved  br-avg-last-N  br-sd-last-N  br-Outlier
 A123  Timestamp 222222      3333333         3333333        2357022.368  FALSE
 A123  Timestamp 444444      6666666         4999999.5      2356922.368  FALSE
 A123  Timestamp 99999999    88888888888     N/A            N/A          TRUE

第三行的 Bytes_recieved 异常值计算为观察到的 Bytes_recieved 是否超出以下定义的范围：

(last Bytes_recieved Average-Last-10) - 2*(last Bytes_recieved SD-Last-N) And (last Bytes_recieved Average-Last-10) + 2*(last Bytes_recieved SD-Last-N)
4999999.5 + 2 * 2356922.368 = 9713844.236; 9,713,844.236 < 88,888,888,888 -> TRUE

2 标准偏差会给你 96% 的异常值，即极端观察你只会看到约 4% 的时间。您可以根据需要对其进行修改。

您可以对 Bytes_sent 执行相同操作并为异常值决策设置“或”条件，或者根据多维运行平均值计算距离（这里 X 是 Bytes_sent，Y 是 Bytes_recieved）并根据极端距离标记异常值。（您需要跟踪正在运行的 SD 或每次观察的其他传播指标）
这样您还可以轻松添加维度：一天中的时间异常、Bytes_sent 和 Bytes_recieved 之间的极端差异等。

于 2017-06-30T18:14:18.730 回答