0

我有一个二维高斯分布，我正在尝试识别异常值。这不是去除异常值的意义，而是识别与批量最不相似的样本。

http://imgur.com/hlOqjig

数据

您对如何最好地处理这些数据有什么建议吗？我试图在两个维度上拟合正态分布并计算所有数据点的 p 值，然后将异常值识别为 p 值最低的数据点。但是，我得到以下结果：

http://imgur.com/a/w6SAz

数据

这是计算 P 值的代码：

library(fitdistrplus)

norm_pvalue <- function(input_dist, input_values) {
  # Fitting normal distribution
  fit <- fitdist(input_dist, "norm")

  # Calculating p-values
  p_values <- unlist(lapply(input_values, function(x) dnorm(x = x, mean=     fit$estimate[['mean']], sd= fit$estimate[['sd']])))

  return(p_values)
}

我希望解决方案具有普遍性。

4

2 回答 2

0

没有数据，很难做出任何详细的回应。但是，您可能想查看最新版本的软件包assertr，请注意：http ://www.onthelambda.com/2017/03/20/data-validation-with-the-assertr-package/ 。

我真的很喜欢它的工作流程，它非常通用。

例如，如果您要检查数据框 (df) 中的列 (col) 中的数据，则可以使用以下内容：

library(assertr)
library(magrittr)  

df %>% insist(within_n_sds(2), col)

然后，这个最终函数将通知您所有异常值（即与平均值相差两个以上标准差的那些点）。该软件包还包括许多用于评估异常值的不同措施。

在您的情况下，有问题的列可能基于 PC1 和 PC2 的最佳拟合线的残差：

PCA.lm = lm(PC2 ~ PC1, data=df) 
PCA.res = resid(PCA.lm)

我希望这对你有帮助。

于 2017-03-21T12:47:10.887 回答
0

我刚刚使用 ggplot2 的 stat_ellipse 来识别异常值。我使用了 0.999 的置信水平。

此函数提取椭球外的点，并采用 ggplot 和绘制椭球的图层。

# Function for identifying points outside ellipse
outside_ellipse <- function(ggplot, ellipsoid_layer_number) {
  # Extracting components
  build <- ggplot_build(ggplot)$data
  points <- build[[1]]
 ell <- build[[ellipsoid_layer_number]]

  # Finding points are inside the ellipse, and add this to the data
  df <- data.frame(points[1:2], 
                in.ell = as.logical(point.in.polygon(points$x, points$y, ell$x, ell$y)))

  # Plot the result
  ggplot(df, aes(x, y)) +
    geom_point(aes(col = in.ell)) +
    stat_ellipse()

  # Returning indices of outliers
  return(which(df$in.ell == FALSE))
}

在这里，我使用椭球选项绘制我的数据，并提取椭球外的点并将它们的信息添加到数据框中。

  # Saving plot with confidence ellipsoid
  plotData <- ggplot(pc_df, aes(PC1, PC2)) + geom_point() + stat_ellipse(level = 0.999)

  # Identifying points outside ellipsoid
  outside <- outside_ellipse(plotData, 2)
  pc_df$in_ellipsoid <- rep(FALSE, dim(pc_df)[1])
  pc_df$in_ellipsoid[outside] <- TRUE
于 2017-03-22T09:28:52.613 回答