3

我使用 R 中的 irr 包计算了 263 名评估者的 Fleiss kappa 统计量，他们判断了 7 张照片（1 到 7 级）。kappam.fleiss(db) 提供了 kappa 统计量 (0.554; z=666) 和 p 值 (0)，但不幸的是，包含的 kappa 统计量没有置信区间。任何人都可以帮助我了解如何获得置信区间吗？

谢谢

添加示例：行名称/rater.1/rater.2/rater.3/rater.4/rater.5/../rater.263 photo 1/6/6/6/6/7/.. . / 5 照片 2 / 1 / 2 / 1 / 1 / 1 / ... / 2 照片 3 / 5 / 5 / 5 / 5 / 6 / ... / 6 照片 4 / 3 / 1 / 3 / 3 / 3 / ... / 1 照片 5 / 2 / 3 / 2 / 2 / 2 / ... / 3 照片 6 / 4 / 4 / 4 / 4 / 4 / ... / 4 照片 7 / 7 / 7 / 7 / 7 / 5 / ... / 7

4

2 回答 2

2

irr软件包不提供置信区间。您可以从可以获得的测试统计数据之一计算它（如果是这样，如 42 所说，这是交叉验证的问题）。

但是，这是由raters软件包提供的。

library(raters) 
data(diagnostic)
concordance(diagnostic,test="Chisq")
concordance(diagnostic,test="Normal")
concordance(diagnostic,test="MC",B=100)

Inter-rater Agreement 
$Fleiss
      Kappa         LCL         UCL   Std.Error     Z value    Pr(>|z|) 
 0.43024452  0.38247249  0.47801655  0.02437393 17.65183058  0.00000000 

$Statistic
        S       LCL       UCL    pvalue 
0.4444444 0.3555556 0.5404861 0.0000000

https://cran.r-project.org/web/packages/raters/raters.pdf

于 2016-11-28T01:01:40.557 回答
1

kappam.fleiss 函数和 concordance 函数的区别在于第一个用于详细评估者，第二个用于汇总数据。从 Wikipedia 页面查看以下示例：

DATA <- data.frame(Rater1 = c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2))
DATA$Rater2 <- c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2)
DATA$Rater3 <- c(5, 3, 3, 2, 2, 1, 1, 2, 1, 3)
DATA$Rater4 <- c(5, 3, 4, 3, 2, 1, 2, 2, 1, 3)
DATA$Rater5 <- c(5, 3, 4, 3, 3, 1, 2, 2, 1, 4)
DATA$Rater6 <- c(5, 3, 4, 3, 3, 1, 3, 2, 1, 4)
DATA$Rater7 <- c(5, 3, 4, 3, 3, 1, 3, 2, 2, 4)
DATA$Rater8 <- c(5, 3, 4, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater9 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater10 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater11 <- c(5, 4, 5, 3, 3, 2, 3, 4, 2, 5)
DATA$Rater12 <- c(5, 4, 5, 3, 3, 2, 4, 4, 3, 5)
DATA$Rater13 <- c(5, 5, 5, 4, 4, 2, 4, 5, 3, 5)
DATA$Rater14 <- c(5, 5, 5, 4, 5, 2, 4, 5, 4, 5)

library("irr")
kappam.fleiss(DATA)

TABLE <- matrix(rep(0, 50), nrow = 10)
for (COLUMN in 1:5) {
  for (ROW in 1:10) {
    TABLE[ROW, COLUMN] <- sum(DATA[ROW,] == COLUMN)
  }
}


library(raters) 
concordance(db = TABLE, test="Normal")
于 2020-05-13T09:01:14.413 回答