问题标签 [confusion-matrix]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2074 浏览

r - R混淆矩阵()和表()在sort.list(y)中给出错误:'x'对于'sort.list'必须是原子的你有没有在列表上调用'sort'?

我正在尝试创建一个混淆矩阵,最好使用confusionMatrix()函数,但是我收到了这个错误:sort.list(y)中的错误:'x'必须是'sort.list'的原子你打电话了吗'在列表中排序?

我也尝试使用 table() 函数,但得到了同样的错误。

以下是我的完整代码:

任何使用confusionMatrix() 创建混淆矩阵的帮助将不胜感激。

谢谢

0 投票
0 回答
677 浏览

r - 如何评估 R 中的多类分类模型?

我目前在大学做一个项目。使用神经网络评估 KDD 99 集。我在 R 库中使用 nnet。但是,KDD 99 有 23 种攻击类型,我的网正在学习对其进行分类。我如何评估它的准确性?我的意思是混淆矩阵适用于 2 类问题,如果不是,则最多 3 类。有没有办法评估我的 nnet 模型?谢谢。

0 投票
1 回答
13065 浏览

python - 在 Python SKLEARN 中保存混淆矩阵

我正在为 6 个不同的训练数据值生成 6 个不同的混淆矩阵,并且我正在尝试将生成的混淆矩阵保存为图像。不幸的是,当他们保存时,他们会继续保存为空白 jpeg 图像;但是,当我使用 show() 显示它们时,它们是可见的。这是我的代码

我正在使用以下库:

如何有效地保存混淆矩阵?

0 投票
0 回答
832 浏览

r - R混淆矩阵使用总和

我有一个包含实际值和预测值的数据表。我可以很容易地生成一个混淆矩阵,但我希望矩阵的每个元素都是第三列的总和。在下面的示例代码中,您可以将数据表的每一行视为具有实际和预测土地分类以及相关区域的多边形。我希望混淆矩阵显示每对中的面积总和。

0 投票
1 回答
9453 浏览

scikit-learn - Scikit - 更改阈值以创建多个混淆矩阵

我正在构建一个分类器,它通过贷款俱乐部数据,并选择最好的 X 贷款。我训练了一个随机森林,并创建了通常的 ROC 曲线、混淆矩阵等。

混淆矩阵将分类器的预测(森林中树木的多数预测)作为参数。但是,我希望以不同的阈值打印多个混淆矩阵,以了解如果我选择 10% 最佳贷款、20% 最佳贷款等会发生什么。

我从阅读其他问题中知道,更改阈值通常是一个坏主意,但是有没有其他方法可以查看这些情况的混淆矩阵?(问题A)

如果我继续更改阈值,我是否应该假设最好的方法是预测概率,然后手动设置阈值,将其传递给混淆矩阵?(问题 B)

0 投票
2 回答
2291 浏览

r - R混淆矩阵列的更改顺序

我想翻转混淆矩阵的顺序。即行和列中的 1,0

我该如何改变?

0 投票
1 回答
373 浏览

machine-learning - 调整 Apache Spark MLlib 算法

我正在使用 Apche Spark Mllib 逻辑回归和线性回归算法。我正在使用文档中给出的代码片段。现在在最新版本的 Spark 1.5 中使用 LogisticRegressionWithSGD 和 LinearRegression 时出现的问题。

我用于LogisticRegressionwithSGD的参数值是

Stepsize=0.01
No.of Iterations = 1000
minBatchFraction = 0.001

具有此值的混淆矩阵是

对于与LogisticRegressionWithLBFGS相同的数据,混淆矩阵是

我对LogisticRegressionWithSGD的结果一无所知。您能否告诉我使用LogisticRegressionWithSGD没有得到正确结果的原因。

0 投票
1 回答
1235 浏览

r - “插入符号”和归一化互信息 (NMI) 中的混淆矩阵:线性判别分析、朴素贝叶斯和分类树

提前为问题的长度道歉,但本页的大部分内容包含分步编码,以说明我在尝试解决错误消息时的思考过程。我已使用“插入符号”将数据分为训练(70%)和测试(30%)集,用于三种监督机器学习算法,称为线性判别分析(LDA)、朴素贝叶斯(NB)和分类树(CT) R中的包(数据的可重现示例,代码如下)。因此,每个算法都使用重复的 10 倍交叉验证和 100 次运行进行训练。这是一个探索性分类练习,响应变量有 2 个类别,即家庭(即“G8”和“V4”)、12 个预测变量和 80 个观察值。如果有人对如何解决这些问题有任何见解并帮助理解错误消息,那么非常感谢。这将不胜感激,因为我对 R 比较陌生。

目标

我的目标是使用“caret”包中的“confusionMatrix”函数生成混淆矩阵。我的目标是使用这个函数来获得 Kappa 系数、分类准确度、敏感性、特异性、单向假设检验和相关统计数据。从混淆矩阵中,我打算计算归一化互信息(NMI)系数来评估模型性能。我的数据称为“mydat”(可以在本页底部找到)。

问题

(1) 对于混淆矩阵,输出错误信息为:

我尝试了不同的代码组合来解决这个问题,但无法理解这个问题

(2) 我的 NMI 分数相差很远,应该介于 0 到 1 之间。我想知道我的编码中是否有任何警告,或者反过来,是否有一种更简单、更直接的方法可以从混淆矩阵中计算 NMI (方程式如下)?

这个想法是使用“caret”包中的函数“confusionMatrix”为LDA、NB和CT输出三个单独的混淆矩阵的混淆矩阵统计数据(下面的例子):

算法和混淆矩阵的代码

重复 10 倍线性判别分析

重复 10 倍朴素贝叶斯

重复 10 折分类树

混淆矩阵代码和伴随的错误信息

每个模型都返回相同的错误消息,在网上和教程中搜索后,我仍然无法解决问题。

归一化互信息 (NMI)

在此处输入图像描述

参考文献:Fielding, AH & Bell, JF (1997) 评估保护存在/不存在模型中预测误差的方法综述。环境保护, 24, 38–49。

值 ad 取自 Kuhn (2015) 的上述混淆矩阵示例。

NMI 编码

数据

0 投票
1 回答
709 浏览

r - 从混淆矩阵中提取表格

我有以下混淆矩阵(从模型摘要中收到summary (model)):

我想将矩阵内容提取到 df1 中,如下所示:

我们应该考虑到矩阵的大小是可以改变的。我需要一个通用的解决方案。有没有办法直接从模型和 txt 文件中提取它?

0 投票
1 回答
20332 浏览

r - 多类模型的准确率、精度和召回率

如何从混淆矩阵中计算每个类的准确率准确率和召回率?我正在使用嵌入式数据集 iris;混淆矩阵如下:

我使用 75 个条目作为训练集和其他用于测试: