问题标签 [kappa]

我有一些关于海龟在不同温度下发生的数据，我使用 glm() 来计算每个温度下发生的预测概率。然后我绘制 ROC 曲线和最大 kappa。最大卡帕是什么意思？最大 kappa 图的 x 轴是什么意思？这两个数字之间有什么关系吗？

在此处输入图像描述

我发现irr包有 2 个用于计算weighted kappa.

请告诉我这两个错误是否真的存在，或者我误解了一些东西。

您可以使用以下示例复制错误。

第一个错误：需要更正混淆矩阵中的标签类型。

我有 2 对疾病程度分数（从 0 到 100，0 表示健康，100 表示极度不适）。

在label_test.csv（您可以将数据复制并粘贴到磁盘中以进行以下测试）：

在pred_test.csv：

在script_r.R：

当我Python用来计算kappaandweighted_kappa时，在script_python.py：

我们可以发现，kappa计算的 byR和Python是相同的，但是weighted_kappafromR远低于weighted_kappain sklearnfrom Python。哪个是错的？经过2天的研究，我发现weighted_kappafrom irrpackage inR是错误的。详情如下。

在调试过程中，我们会发现from中的混淆矩阵irr为R：

我们可以发现顺序是错误的。在 Python 中，标签的顺序应该从 更改[0, 1, 14, 3, 4, 53, 54, 6]为。[0, 1, 3, 4, 6, 14, 53, 54]似乎该irr包使用了基于字符串的排序方法而不是基于整数的排序方法，它将14放在3. 这个错误可以而且应该很容易地纠正。

第二个错误：R 中的混淆矩阵不完整

在我的pred_test.csvandlabel_test.csv中，这些值不能涵盖从 0 到 100 的所有可能值。因此 from 中的默认混淆矩阵irr会R错过那些未出现在数据中的值。这应该是固定的。

让我们看另一个例子。

在pred_test.csv中，让我们将标签从 更改54为99。然后，我们一次script_r.R又一次地跑script_python.py。结果是：

我们可以发现weighted_kappafrom irrinR完全没有变化。但是weighted_kappa从sklearninPython减少到0.83to 0.59。所以我们知道irr又犯了一个错误。

原因是sklearn可以让我们将 传递full labels给混淆矩阵，使混淆矩阵的形状为 100 * 100，但是在 中irr，混淆矩阵的标签是根据 和 的唯一值计算的label，pred这会错过很多其他的可能的值。53这个错误会给和这里分配相同的权重99。所以最好在irrpackage 中提供一个选项，让客户提供他们在fromlabels中所做的那样的客户。sklearnPython

我很难在度量的分量表上计算 Cronbach 的 Alpha。分量表均为李克特评分，其中变量已设置为具有 7 个（0 到 6）值的有序字符串变量。当我使用分析>规模>可靠性并将所有相关子量表放入评级时，将模型设置为 Alpha 并计算我得到 Kappa 输出而不是 Alpha。谁能告诉我我做错了什么？谢谢！

目标：如何计算 r 中 Light 的 kappa 的引导置信区间？

问题：虽然我已成功提取统计信息，但我尝试了以下代码，但不确定我哪里出错了......

以下是数据集的示例：

这是我用来计算统计数据和 95% CI 的代码：

在开始 res 的行之后，我收到以下错误： if ((sum(dim1[i] == dimi1) == 1) & (sum(dim2[j] == dimi2) == 中的错误：缺少值 where TRUE /FALSE 需要

我正在计算一个生物学问题的评分者间协议。基本上，6 个读者在 60 个科目上进行评估，每个科目有 2 个可能性分类量表。我在 R 上使用 kappam.fleiss 函数来做到这一点。

我的问题是：如何考虑丢失的数据？如果我将“NA”放在我的数据库中，我担心 NA 会被解释为分类解释的新条目。因此会与异常的 kappa 值相关联。

非常感谢。

托马斯

我在同一个数据集上运行了不同的分类器。运行分类器后我得到了一些统计值。

这是所有分类器的总结

我正在使用 Weka 来训练模型。Weka 本身有一个方法来比较不同的算法。为此，我们需要使用Experiment选项卡。对于同一个数据集，我也使用了这个选项。

使用“实验”选项卡时，Weka 给了我 Kappa 统计的结果

均方根误差为

相对绝对误差

等等.....

现在我无法理解我从实验选项卡中获得的值与我在第一张图片中以表格格式共享的值有何相似之处？

我想计算两个评估者对具有两个或多个类别的变量的评估者间一致性。但是，我假设会有一个普遍性问题（即某些类别可能比其他类别更频繁地出现在数据中）。因此，我也有兴趣获得患病率调整偏差调整 kappa (PABAK)。据我所见，{IRR} 包不提供此选项，但 {epiR} 的 epi.kappa 函数提供此选项。但是，我更喜欢使用 {IRR}，因为我想获得 Cohen 的 Kappa（epiR 似乎基于 Fleiss 的 Kappa）。有没有其他方法可以在 R 中获得 Cohen 的 Kappa 和 PABAK？

非常感谢！

一般问题：使用 scikit-optimize 进行黑盒优化。在文档中找不到 model_queue_size 的作用。我正在做 ask-tell 因为我可以并行化 y 的计算，如示例中所述。因此，进行一些分析，看起来 opt.tell() 调用在 model_queue_size 设置较小时运行得更快。这就是 model_queue_size 所做的 - 限制 opt.tell() 调用中使用的样本数量？第二个问题，使用 Optimizier - ask-tell 方法时如何设置 kappa？

谢谢