问题标签 [cohen-kappa]

查看 tfa.metrics.CohenKappa的文档，我试图弄清楚如何将它与一个简单的模型一起使用。

我编写了以下代码：

这会产生以下模型：

如果我取消注释 cohenKappa 行，我会收到以下错误：

我错过了什么？

我正在使用 Keras 尝试使用一系列事件来预测分数向量 (0-1)。

例如，X是一个由 3 个向量组成的序列，每个向量包含 6 个特征，而y是一个包含 3 个分数的向量：

我想将这个问题作为序数分类来解决，所以如果实际值是[0.5,0.5,0.5]预测值，那么预测[0.49,0.49,0.49]会更好[0.3,0.3,0.3]。我最初的解决方案是sigmoid在我的最后一层使用激活并mse作为损失函数，因此每个输出神经元的输出范围在 0-1 之间：

我的目标是了解WeightedKappaLoss的用法并在我的实际数据上实现它。我创建了这个 Colab来摆弄这个想法。在 Colab 中，我的数据是一个序列形状(5000,3,3)，我的目标形状(5000, 4)代表 4 个可能的类中的 1 个。

我希望模型了解它需要修剪 X 的浮点以预测正确的 y 类：

新型号代码：

拟合模型时，我可以在 TensorBoard 上看到以下指标：

我不确定以下几点，希望得到澄清：

• 我用对了吗？
• 在我最初的问题中，我预测 3 个分数，而不是 Colab 示例，我预测只有 1 个。如果我使用的是 WeightedKappaLoss，这是否意味着我需要将每个分数转换为一个向量100 个 one-hot 编码？
• 有没有办法在原始浮点分数上使用 WeightedKappaLoss 而无需转换为分类问题？

我有 3 个类别，每个类别由 3 个注释者评分。在 52% 的案例中，3 个注释者同意相同的类别，43% 的两个注释者同意一个类别，并且只有 5% 的情况下，每个注释者选择了不同的类别。

我计算了 fleiss 的 kappa 或 krippendorff，但 krippendorff 的值比 fleiss 低得多，它是0.032而我的 fleiss 是0.49。

是不是协议太低了，尤其是使用krippendorff？

我正在使用 caret 包运行 k 倍重复训练，并希望计算我的准确度指标的置信区间。本教程打印一个插入符号训练对象，显示准确性/kappa 指标和相关的 SD：https ://machinelearningmastery.com/tune-machine-learning-algorithms-in-r/ 。但是，当我这样做时，列出的所有内容都是度量平均值。

让我们以这个众所周知的例子为例。如何从嵌套交叉验证中获得 Kappa 分数和 Matthews 相关系数？

我试过用cross_val_predict代替cross_val_score，但我发现两者的结果不一样，而且由于我已经有了结果cross_val_score，我想我更愿意继续使用它。

这些是我正在使用的库：

我的科恩卡帕率很慢。当我检查它时，大多数评分者的答案都很高，但科恩的 kappa 太低了。可能是什么原因？

我写了一个预测序数数据的模型。目前，我正在使用二次科恩的 kappa评估我的模型。我正在寻找一种使用混淆矩阵来可视化结果的方法，然后在考虑预测距离的情况下计算召回率、精度和 f1 分数。

IE 在 class 为 1 时预测2比在class 为 1 时预测3更好。

我编写了以下代码来绘制和计算结果：

可视化很好，但是，计算忽略了“几乎”为真的预测。IE在实际为9时预测为8（例如）。

考虑到数据的序数行为，有没有办法计算召回率、精度和 F1？

我非常感谢您对此的帮助。我正在使用 jupyter 笔记本。

我有一个数据框，我想在其中计算评估者间的可靠性。我想通过 ID 列的值对它们进行成对比较（所有 ID 的频率为 2，每个编码器一个）。所有 ID 值都代表不同的文章，所以我不想将它们一起比较，但更多的是取每对的平均可靠性（也可能是每一列）。

我已经能够找到一些关于 cohen's k 的说明，但没有找到如何在 ID 列中按值成对执行此操作的说明。

有谁知道该怎么做？

如何计算多标签注释的 Krippendorff Alpha？在多类注释的情况下（假设 3 个编码人员用 3 个标签注释了 4 个文本：a、b、c），我首先构造可靠性数据矩阵，然后构造巧合，根据巧合我可以计算 Alpha：

问题是在多标签分类问题（如下例）的情况下，我如何准备巧合并计算 alpha？

Python 实现甚至 excel 将不胜感激。

我sklearn.metrics.cohen_kappa_score用来评估我的模块。函数权重可以是None , 'linear' or 'quadratic'我想覆盖该函数以便能够发送自定义权重矩阵。怎么做到呢？