问题标签 [kappa]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
282 浏览

python-2.7 - 用于将 Python 部署到 AWS Lambda 的最小工作“kappa”示例

我正在尝试使用kappa对 AWS Lambda 进行无缝部署。

我尝试修改S3 示例以上传 python 代码。我通过运行创建了 Lambda kappa ./config.yml create(在用我的aws 控制台配置文件替换配置文件之后)。lambda 已创建并显示在 AWS Function 控制面板中,如图所示:

在此处输入图像描述

我现在想转换这个示例来生成一个新的 lambda,但是是 Python 运行时。蟒蛇文件是:

examplefolder/hello_world.py

然后我修改了 lambda 相关部分config.yml

然后我再次运行kappa ./config.yml create以创建新的 Lambda,但出现此错误:

0 投票
2 回答
3253 浏览

r - 计算 R 中 fleiss kappa 的置信区间

我使用 R 中的 irr 包计算了 263 名评估者的 Fleiss kappa 统计量,他们判断了 7 张照片(1 到 7 级)。kappam.fleiss(db) 提供了 kappa 统计量 (0.554; z=666) 和 p 值 (0),但不幸的是,包含的 kappa 统计量没有置信区间。任何人都可以帮助我了解如何获得置信区间吗?

谢谢


添加示例:行名称/rater.1/rater.2/rater.3/rater.4/rater.5/../rater.263 photo 1/6/6/6/6/7/.. . / 5 照片 2 / 1 / 2 / 1 / 1 / 1 / ... / 2 照片 3 / 5 / 5 / 5 / 5 / 6 / ... / 6 照片 4 / 3 / 1 / 3 / 3 / 3 / ... / 1 照片 5 / 2 / 3 / 2 / 2 / 2 / ... / 3 照片 6 / 4 / 4 / 4 / 4 / 4 / ... / 4 照片 7 / 7 / 7 / 7 / 7 / 5 / ... / 7

0 投票
1 回答
161 浏览

r - arules包,R中interestMeasure函数的度量范围与包手册中的描述不同

我正在使用 artules 包,R 来查找积极相关的产品。我使用功能 interestMeasure 提供的一些度量来评估规则。但是,我发现度量 kappa 和 minimumContradiction 的范围与包装手册不同。这是一个示例,代码在包手册中对interestMeasure的解释中:

为了方便,我做了一点改动。在示例中,最小矛盾和 kappa 的范围是:

我在自己的数据上尝试了这两个措施,总结是:

但是,在包装手册中,这两种措施的解释如下: 在此处输入图像描述

可以看到范围非常不同。那么,我应该自己将这些措施的范围缩小到 [-1,1] 吗?

0 投票
2 回答
227 浏览

r - 在不更改表类的情况下对列联表进行排序

我想重新排序 cont.table 的因素

我希望能够对因子 0 和 1 进行排序。我想要的结果是这样

我是这样做的,但是我丢失了我需要的类表

有没有可能的方法?越简单越好

0 投票
0 回答
47 浏览

r - 计算数据的 Kappa 相关系数以找到两个评估者之间的一致性

我正在尝试计算以下数据的 Kappa 相关系数,以找到两个评估者之间的一致性。但是,从数据集中,我可以看到评估者几乎同意所有的发生率,除了一个。但我将 Kappa 设为零。(在我的理解中,Kappa 为零是评估者不同意。来源:链接

有人可以在这里帮助我吗?

PS:我在这里发布了问题,但是,我没有得到任何答案。谢谢你。

0 投票
1 回答
407 浏览

r - R - 计算每行的重复值

我正在研究一个数据框,该数据框需要计算 Fleiss 的 Kappa 以实现评估者间协议。我为此使用了“irr”包。

除此之外,对于每个观察,我需要计算有多少评分者是一致的。

我的数据如下所示:

我期待这样的事情,其中​​ count 代表达成一致的评估者人数

非常感谢。

0 投票
3 回答
2782 浏览

python - fleiss kappa 是一个可靠的注释者间协议衡量标准吗?以下结果让我感到困惑,使用它时是否有任何涉及的假设?

我有带有以下描述的注释矩阵:3 个注释器,3 个类别,206 个主题

数据存储在 numpy.ndarray 变量 z 中:

可以看出,206 个注释中有 200 个是所有三个注释器的相同类别。现在实施 Fleiss Kappa:

尽管大多数主题(200/206)被注释为同一类别,为什么分数如此之低?

0 投票
3 回答
3656 浏览

python - 与 Cohen Kappa 达成多标签注释器协议

假设我想为文档添加注释。每个文档都可以使用多个标签进行注释。在此示例中,我有 2 个注释器(a 和 b),它们每个标记两个文档。

Annotator_a 用标签 a、b 和 c 标记文档 1。Annotator_b 用标签 b 和 c 标记文档 1。

我尝试使用以下方法计算注释者协议:

但这会导致错误:

关于如何计算此集的注释者协议的任何想法?

0 投票
1 回答
44 浏览

r - 强度栅格到 Kappa

我正在编写一些代码来模拟森林林。我已经使用 Spatstats 模拟了大中型树木的位置。我想做的下一步是模拟较小的树。我一直在尝试编写一些代码,使较小的树木能够远离大型和中型树木。

对于 Spatstat 中的 Thomas 成簇模型,我可以使用单个数字 kappa 模拟正确数量的小树,但是这会产生接近大/中树的成簇。我正在努力模拟正确数量的小树,其中父点位于林分较不密集的部分。

我曾尝试在大中型树上使用 spatstat 中的密度函数。然后我尝试反转栅格,以便树木较少的区域具有更高的像素值,但我似乎无法找到将其更改为 Kappa 栅格的方法,这将为我生成正确数量的较小树木。

下面的代码给了我一个数字来生成正确数量的小树

窗口尺寸为 100x100m

我希望找到一种生成 kappa 栅格的方法,该栅格可以模拟正确数量的点,在这些点中,父点更可能在展台的密度较小的区域产生。

非常感谢您的帮助!

0 投票
1 回答
119 浏览

tensorflow - Tensorflow Addon 的 Cohen Kappa 对所有时期返回 0

我对 tensorflow_addons 的 CohenKappa 指标有疑问。我正在尝试训练图像分类模型,但我将此问题视为回归问题。所以,我用 MSE 损失训练了模型。但是,我需要知道分类性能并且我想使用 CohenKappa。很高兴,Tensorflow 使用名为 tensorflow_addons 的插件支持 CohenKappa 度量。但是,我需要自定义指标,所以我添加了一个额外的逻辑来剪辑 y_pred,将它们四舍五入,然后将它们提供给 CohenKappa API。这是代码:

我使用 tf 的 Keras API 和 tf.Dataset 对象对其进行了训练。这是上下文的完整脚本。

========= 完整脚本 ==========

这个脚本的结果是这个日志:

从这些结果中,我有两个问题:

  • 如何解决这个问题,以便我可以获得一个有效的 cohen kappa 指标?它应该从 0 提高到 1。
  • 我想查看每个度量 update_state 方法的 y_pred 和 y_true,是否应该将 Tensor 对象作为 y_true 和 y_pred?谢谢!