问题标签 [anomaly-detection]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
509 浏览

python - 在 H2o KMEANS 聚类中获取点到聚类质心的距离

在 H2O KMeans 集群中。有没有办法计算数据集中每个点与集群质心的实际距离?目前 H2o 为传递的数据提供预测的集群,但获取点与其集群质心的距离的最佳方法是什么。

我打算将此用于异常检测,其中远离质心的点被视为异常。我没有使用 Apache Spark,但打算使用 Sparking Water 进行尝试,但 H2o Api 似乎没有显示从集群质心获取每个点的距离的最佳方法。

0 投票
1 回答
62 浏览

r - How to make a simple script using apply family in R

I need to make Anomaly Detection using R but i think my code is really long. I need to get "Find Anomaly" and "Total Anomaly". Can someone make it simple using apply family?. Here the code

0 投票
1 回答
35 浏览

conv-neural-network - CNN 看不见的模式

假设我有很多 2 眼猫和其他生物的照片,但我会收到一张 3 眼猫的照片,我应该使用什么算法在测试数据集中找到这只 3 眼猫?

0 投票
2 回答
268 浏览

machine-learning - 使用机器学习检测损坏的传感器

我是机器学习的新手。

我有一个庞大的气象站传感器数据数据库。这些传感器可能损坏或具有奇数值。损坏的传感器会影响使用该数据进行的计算。

目标是使用机器学习来检测新传感器值是否为奇数,如果是则将其标记为损坏。如前所述,我是 ML 新手。有人可以将我推向正确的方向或对我的方法提供反馈。

数据具有日期时间和值。传感器值每小时推送一次。

我很感激任何帮助!

0 投票
1 回答
94 浏览

r - 如何将 twitter 异常检测图保存为 png?

我使用包 'twitter/AnomalyDetection' 来绘制异常。我能够制作情节,但不知道如何将情节保存为 dpi 600 的 png 图像。
我的代码:

错误:找不到对象“p”、“600”

检查 p 的结构,它是一个列表而不是图像。
任何人都可以帮助解决这个问题吗?谢谢你。

0 投票
1 回答
1779 浏览

apache-spark - 在 Spark 中使用 PCA 进行异常检测

我阅读了以下文章

使用主成分分析 (PCA) 进行异常检测

文章中写道:

• PCA 算法基本上将数据读数从现有坐标系转换为新坐标系。

• 数据读数越接近新坐标系的中心,这些读数就越接近最佳值。

• 异常分数是使用读数与所有读数的平均值之间的马氏距离计算的,该平均值是变换坐标系的中心。

谁能更详细地描述我使用 PCA 进行异常检测(使用 PCA 分数和 Mahalanobis 距离)?我很困惑,因为 PCA 的定义是:PCA 是一种统计过程,它使用正交变换将一组可能相关变量的观察值转换为一组线性不相关变量的值。当变量之间没有更多相关性时如何使用马氏距离?

谁能解释我如何在 Spark 中做到这一点?pca.transform 函数是否返回我应该计算每次读数到中心的马氏距离的分数?

0 投票
1 回答
2739 浏览

r - R中的隔离森林

我目前正在使用 R 中的 IsolationForest 方法识别我的数据集中的异常值。在https://r-forge.r-project.org/R/?group_id=479上执行现有项目失败,它显示:

在此先感谢您的帮助!

0 投票
1 回答
422 浏览

machine-learning - 如何检测季节性时间序列传感器数据中的异常?

我正在努力检测时间序列传感器数据中的异常。我的数据如下所示:

我也可以提供一个标签,但这个标签不是很准确:

我还可以提供该地区的其他传感器,例如湿度传感器等。或者该地区的平均温度。

我找到了很多关于算法的资源,但我不知道如何从技术上解决这个问题。有人可以帮助我或至少将我推向正确的方向吗?

目标是根据过去的结果在未来的传感器数据中检测传感器是否损坏。

0 投票
1 回答
1204 浏览

java - java应用程序中的异常检测

我想做的是在现有的java应用程序中集成异常检测模块,以允许用户从不同的算法和预测模型中进行选择

Egads库看起来相当乐观,但我不确定它是否符合我的目的,以防新数据进来,我应该存储和更新现有模型还是再次传递整个数据。另外,如果我只想预测 15 分钟的时间窗口,通过在结果中仅传递 15 分钟的数据,肯定会不准确。

可能还有其他有用的技术,有人可以分享他在类似任务中的经验。不幸的是,找不到任何其他用于此目的的 java 库。

0 投票
1 回答
2996 浏览

machine-learning - 如何用 hmmlearn 解决基本的 HMM 问题

存在三个基本的 HMM 问题:

问题 1(似然):给定一个 HMM λ = (A,B) 和一个观察序列 O,确定似然 P(O|λ)。

问题 2(解码):给定一个观察序列 O 和一个 HMM λ = (A,B),发现最佳隐藏状态序列 Q。

问题 3(学习):给定观察序列 O 和 HMM 中的状态集,学习 HMM 参数 A 和 B。

我对问题## 1 和 3 很感兴趣。一般来说,第一个问题可以用正向算法解决,第三个问题可以用 Baum-Welch 算法解决。我应该使用hmmlearn 的方法来分别解决第一个和第三个问题fit(X, lengths),我对吗?score(X, lengths)(文档没有说score使用前向算法。)

我还有一些关于score方法的问题。为什么要score计算对数概率?为什么如果我将几个序列传递给score它返回对数概率的总和而不是每个序列的概率?

我最初的任务如下:我有 100 万个大小相同的短句(10 个单词)。我想用该数据训练 HMM 模型,并为测试数据(再次 10 个单词的句子)预测模型中每个句子的概率。根据这个概率,我将决定是那个通常或不寻常的短语。

也许有更好的python库来解决这些问题?