Coeficiente kappa de Cohen

Se tiene un grupo de 50 personas que presentan una solicitud de subvención. Cada propuesta de subvención es analizada por dos evaluadores que anotan un "Sí" o un "No", según acepten o rechacen, respectivamente, la solicitud. El resultado del análisis de cada solicitud genera la tabla siguiente, en la que A y B denotan a cada uno de los dos evaluadores:

		B
		Sí	No
A	Sí	20	5
	No	10	15

Los datos situados en la diagonal formada por los valores 20 y 15, representan el número de solicitudes en el que hay concordancia entre ambos evaluadores. Mientras que la diagonal formada por los valores de 10 y 5, representan los casos en los que hay discordancia entre los evaluadores.

Ahora pues, teniendo en cuenta que de las 50 solicitudes, 20 fueron aceptadas y 15 rechazadas por ambos evaluadores. El porcentaje de acuerdo observado es:

${\displaystyle \Pr(a)={\frac {20+15}{50}}=0.70\!}$

Para calcular Pr(e), es decir, la probabilidad de que el acuerdo entre evaluadores se deba al azar, se advierte que:

• El evaluador A acepta (dice "Sí") 25 solicitudes y rechaza (dice "No") 25. Es decir, el evaluador A dice "Sí" el 50% de las veces.
• El evaluador B acepta (dice "Sí") 30 solicitudes y rechaza (dice "No") 20. Es decir, el evaluador B dice "Sí" el 60% de las veces.

Por lo tanto, la probabilidad de que ambos evaluadores digan "Sí" al azar es:

${\displaystyle \Pr(A)*\Pr(B)=0.50*0.60=0.30\!}$

Y la probabilidad de que ambos lectores digan "No" al azar es:

${\displaystyle \Pr(A)*\Pr(B)=0.50*0.40=0.20\!}$

Teniendo en cuenta lo anterior, el valor de Pr(e) se calcula como la suma de las probabilidades de decir "Sí" y "No" al azar:

${\displaystyle \Pr(e)=0.30+0.20=0.50\!}$

Aplicando los valores de Pr(a) y Pr(e) en la fórmula de Kappa de Cohen se obtiene:

${\displaystyle \kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}}={\frac {0.70-0.50}{1-0.50}}=0.40\!}$

Un caso que a veces se considera un problema con la Kappa de Cohen se produce al comparar las Kappas calculadas para dos pares de evaluadores, ambos pares de evaluadores tienen el mismo porcentaje de acuerdo, pero los evaluadores de uno de los pares tienen una distribución de calificaciones similar, mientras los evaluadores del otro par tienen una distribución de calificaciones muy diferente.^[7] Por ejemplo, en las dos tablas siguientes el acuerdo entre A y B es similar (en ambos casos, 60 de cada 100), por lo tanto cabría esperar que los valores correspondientes de Kappa reflejaran esta similitud. Sin embargo, al calcular Kappa para cada tabla:

	Sí	No
Sí	45	15
No	25	15

${\displaystyle \kappa ={\frac {0.60-0.54}{1-0.54}}=0.1304}$

	Sí	No
Sí	25	35
No	5	35

${\displaystyle \kappa ={\frac {0.60-0.46}{1-0.46}}=0.2593}$

encontramos que muestra mayor similitud entre A y B en el segundo caso, en comparación con el primero. Esto se debe a que mientras el porcentaje de acuerdo es el mismo, el porcentaje de acuerdo que ocurriría "por casualidad" es significativamente mayor en el primer caso (0,54 comparado con 0,46).

La significación estadística no hace ninguna afirmación sobre cuán importante es la magnitud en una aplicación dada o lo que se considera un acuerdo alto o bajo.

La significación estadística para kappa rara vez se informa, probablemente porque incluso valores relativamente bajos de kappa pueden ser significativamente diferentes de cero pero no de magnitud suficiente para satisfacer a los investigadores.^[8] Sin embargo, su error estándar se ha descrito^[9] y es calculado por varios programas de computadora.^[10]

Si la significación estadística no es una guía útil, ¿qué magnitud de kappa refleja un acuerdo adecuado? Las directrices serían útiles, pero otros factores distintos del acuerdo pueden influir en su magnitud, lo que hace problemática la interpretación de una determinada magnitud. Como señalan Sim y Wright, dos factores importantes son la prevalencia (son los códigos equiprobables o sus probabilidades varían) y el sesgo (son las probabilidades marginales para los dos observadores similares o diferentes). En igualdad de condiciones, las kappas son más altas cuando los códigos son equiprobables. Por otro lado, los Kappas son mayores cuando los códigos son distribuidos asimétricamente por los dos observadores. En contraste con las variaciones de probabilidad, el efecto del sesgo es mayor cuando Kappa es pequeño que cuando es grande.^{[11]: 261–262}