2

我一直在尝试对k x m矩阵中的评分者之间的一致性进行 icc（类内相关系数）测试。其中k是行（研究对象），m是评分者。它是一个 70 x 70 矩阵，但它来自随机评估者，其中每个主题仅评估了约 6 次（范围 2-13）。

由于群体很大，研究对象和评估者没有太多重叠。

这意味着我的矩阵充满了 NA：

主题___Rater1___Rater2___Rater3___Rater4___... Rater70

主题 1 ____ 3 _____ 1________不适用_____不适用 ____ ...

主题2_____NA ____5 _______NA______2 _____ ...

主题3_____6 _____NA_______3 _______5_____ ...

...主题70

我试过 psych 图书馆发现 2 个主要问题：

  • 首先，无法使用 na.rm （或类似的）功能。所以，我不知道如何处理 NA

  • 其次，我无法定义测试类型（ICC1、ICC2 或 ICC3）。即使 R 中的手册和帮助根据 Shrout 和 Fleiss 说明了 ICC 类型，我也找不到用于确定所使用类型的示例或函数。

此行不起作用：

Data_O<-na.omit(iccOTE) icc1<-icc(Data_O, na.rm=TRUE, type = c("agreement"), unit = c("single"), r0 = 0, conf.level = 0.95)

--------- 所以：我切换到 DescTools 库。这在使用 na.rm 函数时很有帮助。我尝试了以下代码：

ICC(Data_O, type = c("ICC1k"), conf.level = 0.95, na.rm = TRUE)

我收到以下错误： stack.data.frame(data.frame(ratings)) 中的错误：未选择向量列

我试图寻找错误的含义，但找不到它。另外，我对图书馆如何使用k有点困惑。我在哪里可以找到信息来了解在此示例中是否将k用作 (n-1)，其中k是按案例（行）[k=6] 计算的，还是通常根据完整矩阵 [k=70] 计算的？在第二种情况下，这将是完全不准确的。

谢谢！！！

4

1 回答 1

2

在 R 中有两种计算 icc 的方法。第一种是包中的icc函数，irr第二种是包ICC中的函数psych。

关于测试类型的定义：

如果使用ICC函数，则无需指定任何内容。R 将计算所有表格，您只需选择正确的表格。输出将采用以下形式：

Intraclass correlation coefficients 
                         type  ICC   F df1 df2     p lower bound upper bound
Single_raters_absolute   ICC1 0.26 2.4   4  15 0.096       -0.10        0.83
Single_random_raters     ICC2 0.11 1.5   4  12 0.277       -0.22        0.77
Single_fixed_raters      ICC3 0.10 1.5   4  12 0.277       -0.19        0.75
Average_raters_absolute ICC1k 0.58 2.4   4  15 0.096       -0.58        0.95
Average_random_raters   ICC2k 0.34 1.5   4  12 0.277       -2.50        0.93
Average_fixed_raters    ICC3k 0.31 1.5   4  12 0.277       -1.84        0.92

 Number of subjects = 5     Number of Judges =  4

如果您使用icc函数，您将通过正确设置参数模型，类型和单位得到正确的类型。如果您不确定如何操作，我建议您阅读这篇文章：

关于 NA：

icc也没有用高比例的 NA 为我工作。

我设法使用ICC 高百分比的缺失值。但是，ICC 默认会删除所有不完整的案例。因此，在您的情况下，它可能会删除所有数据并给您一个错误。您可以设置missing = F为包括所有案例。

但是，我不确定 icc 对于具有许多 NA 的数据是否是不错的选择。我读过 Krippendorff 的 alpha 对 NA 的处理效果更好。（参见：Hallgren, KA (2012). Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. http://doi.org/10.20982/ tqmp.08.1.p023或 Hayes, AF 和 Krippendorff, K. (2017)。响应编码数据标准可靠性测量的呼吁，2458（11 月） 。http: //doi.org/10.1080/19312450709336664或http： //digital-activism.org/2013/05/picking-the-best-intercoder-reliability-statistic-for-your-digital-activism-content-analysis/irr ）您可以在包中找到 Krippendorff 的 alpha 。该函数被调用kripp.alpha。

于 2017-11-15T20:19:49.317 回答