问题标签 [outliers]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
889 浏览

kernel - 如何使用密度核估计进行异常值检测?

我有一个名为“价格”的变量,它的分布看起来很倾斜。我计划使用核密度估计来检测异常值。这个有什么好主意吗?

谢谢!

0 投票
3 回答
9617 浏览

r - 从 PCA 和 QQ 图中识别和去除异常值

我有一个 132 x 107 的数据集,它由 2 种患者类型组成——(患者 1 的 33 人)和(患者 2 的 99 人)。

我正在寻找异常值,所以我在数据集上运行 pca 并使用以下命令完成了第 4 个组件的 qqplots

当我使用以下方法执行第二个组件的 qqplot 时:

下图显示了 2 个明显的异常值 - 左下角的红点是患者 1。

QQ剧情

是否有任何直接的方法可以计算出数据中这些点的索引以便将它们删除?

0 投票
1 回答
1054 浏览

r - 带有一些极值的条形图

考虑以下向量:

我想在 R 中vec使用 a进行绘图bar plot。但是,如您所见,与向量的其余部分相比,有一个或两个值是极端的。绘制条形图时,小值几乎不会显示在图表上。

在此处输入图像描述

有没有办法更好地显示图表?例如,有没有办法最终拆分 x 轴?下图是一个(不相关的)示例,但它显示了在这种情况下如何拆分 y 轴以允许所有值显示在图表上。

PS:在我的情况下,使用对数比例绘制不是一个选项,因为一些向量值是负数。

在此处输入图像描述

谢谢!

0 投票
1 回答
143 浏览

r - 故障分析耗时过长

我正在使用forward.searchin 中的faoutlier包进行异常值分析R,但是没有任何结果需要很长时间。我只是想检查一下我做的是否正确,以及我怎样才能更快地完成这个过程(例如通过设置参数)。这是脚本:

0 投票
1 回答
756 浏览

c++ - one class CRF source code for outlier detection - C++

Can anyone suggest me a C++ library for one class conditional random field? which can be used for abnormality detection.

0 投票
1 回答
19496 浏览

matlab - Matlab去除数据中异常值的最佳技术

我有 2 列x,每列y100 分。我想删除异常值数据并用靠近它们的点的平均值来填补它们的空白。首先,我可以这样做吗?有任何Matlab函数吗?其次,如果是,那么最好的技术是什么?

例如:

在这种情况下,与我的问题不太相似,我想在最后删除值 2 并替换为与其相邻点相似的值。在我的情况下, 的分布[x,y]是一个非线性函数,几乎没有异常值。

0 投票
1 回答
1043 浏览

r - 如果 cloumn 的值是异常值,则删除矩阵行

@aL3xa这里有一个非常酷且简单的功能,但这是针对矢量的。

我有一个矩阵,说第 2 列是一个变量,我想去掉异常值和相关的行。有一个包异常值,我想使用它的算法,但它们似乎也适用于向量。有什么建议么?

谢谢

0 投票
1 回答
3775 浏览

matlab - Remove outlier in Point Cloud

With OpenCV/Matlab, I'm computing a disparity map. I use OpenCV SGBM function to get it. The result are good. I got a bit of noise in my image. With medfilt2 in Matlab, I remove a lot of bad pixels.

But where the noise is more present than the real data, That create outliers zone (Thing under the plant). I would like to remove all. I'm looking for a better way to do it ?

With the median filter, at least the image get less point projected on the ground plane and less point generated in the top of image where there nothing.

My supposition is :

  • Remove more noise with a better disparity
  • Doing pre-processing on disparity map before reprojectionImageTo3D (OpenCV)
  • Doing post-processing on point cloud to remove outlier with Z coordinate and maybe color

I'm not sure how to do it. I looking for nice filtering method that maybe can help me for that. I can work with Matlab and OpenCV as well.

Here an example of my image I have :

Disparity map with noise(Left) and Disparity map with medfilt(Right) Disparity map with noise.Disparity map with medfilt Point cloud generated with noisy disparity map. Point cloud generated with noisy disparity map. Point cloud generated with medfilt disparity map. Point cloud generated with medfilt disparity map.

EDIT

The problem of the medfilt2 is that I'm using a window size of 65. So it good for the big plant, but the plant near the ground lose their shape and get rounded and fusion with the ground. It normal this is what medfilt do. But I would like to avoid that, I'm searching for a filter that give better result and less noise at the end.

0 投票
1 回答
1653 浏览

matlab - 如何去除异常值?

我有一个矩阵,其第一列为 X,第二列为 Y,第三列为 Z(来自地球的点云)。它们之间是异常值,即非常向下或非常外部的点(由于系统误差)。我创建一个距离矩阵并使用以下代码计算每个点到所有其他点的距离:

selectedl是我的矩阵。并计算每个点的邻居并说:只有 1 或 2 个邻居的点是异常值。但是:由于我的矩阵太大(考虑矩阵的大小),我的笔记本电脑无法处理(内存不足:4G!)

是否有一种方法、函数或代码可以在不计算距离矩阵的情况下自动计算异常值?

0 投票
2 回答
620 浏览

data-mining - ELKI 工具 - ABOD 的异常值检测结果

我正在尝试使用 ABOD 方法运行 ELKI 进行异常值检测。我看到了各种可视化结果,但没有看到异常值或排名。我该怎么说使用 ELKI 获得前 10 个异常值?