统计 - Cohen 的 kappa 系数


科恩的卡帕系数是一种统计量,用于衡量定性(分类)项目的评估者间一致性。通常认为它比简单的一致性百分比计算更稳健,因为 k 考虑了偶然发生的一致性。Cohen 的 kappa 衡量两个评估者之间的一致性,每个评估者将 N 个项目分为 C 个互斥类别。

科恩的卡帕系数由以下函数定义和给出 -

公式

${k = \frac{p_0 - p_e}{1-p_e} = 1 - \frac{1-p_o}{1-p_e}}$

其中 -

  • ${p_0}$ = 评估者之间观察到的相对一致性。

  • ${p_e}$ = 机会一致的假设概率。

${p_0}$ 和 ${p_e}$ 使用观察到的数据计算每个观察者随机说出每个类别的概率。如果评估者完全一致,则 ${k}$ = 1。如果评估者之间除偶然预期之外没有达成一致(如 ${p_e}$ 给出),则 ${k}$ ≤ 0 。

例子

问题陈述-

假设您正在分析与 50 人申请补助金相关的数据。每项拨款提案均由两名​​读者阅读,每位读者对该提案要么说“是”,要么说“否”。假设分歧计数数据如下,其中A和B是读者,左斜对角线上的数据显示同意的计数,右斜对角线的数据显示分歧 -

 
是的
A 是的 20 5
10 15

计算科恩卡帕系数。

解决方案-

请注意,有 20 项提案被读者 A 和读者 B 批准,还有 15 项提案被读者 A 和读者 B 拒绝。因此,观察到的比例一致性是

${p_0 = \frac{20+15}{50} = 0.70}$

为了计算 ${p_e}$ (随机一致的概率),我们注意到 -

  • 读者 A 对 25 名申请人说“是”,对 25 名申请人说“否”。因此,读者 A 有 50% 的时间说“是”。

  • 读者 B 对 30 名申请人说“是”,对 20 名申请人说“否”。因此,读者 B 在 60% 的时间里说“是”。

使用公式 P(A 和 B) = P(A) x P(B),其中 P 是事件发生的概率。

两人随机说“是”的概率为 0.50 x 0.60 = 0.30,两人随机说“否”的概率为 0.50 x 0.40 = 0.20。因此,随机一致的总体概率为 ${p_e}$ = 0.3 + 0.2 = 0.5。

现在应用 Cohen Kappa 公式,我们得到:

${k = \frac{p_0 - p_e}{1-p_e} = \frac{0.70 - 0.50}{1-0.50} = 0.40}$

计算器