Como Calcular um Acordo Inter-Avaliadores

Um acordo inter-avaliadores é uma medida de quão consistentes são as medições entre dois ou mais observadores (ou "avaliadores"). Por exemplo, pesquisadores médicos frequentemente usam um grupo de médicos para observar e categorizar efeitos de um experimento de tratamento. Medir a consistência entre observadores é importante porque queremos ter certeza de que quaisquer efeitos que vemos são devidos ao nosso experimento e não a grandes diferenças entre os observadores. A estatística primária usada para medir acordo inter-avaliadores é chamada "kappa".

Instruções

1. Calcule o percentual de acordo dividindo o número de observações que concordam pelo total de observações. Considere o exemplo de um experimento envolvendo 100 pacientes dados um tratamento para asma. Dois médicos são solicitados a categorizar os pacientes em duas categorias: controlado (sim) ou não controlado (não) sintomas de asma. Os resultados podem parecer com isto:
   • Ambos Avaliadores Sim 70
   • Ambos Avaliadores Não 15
   • Avaliador #1 Sim/Avaliador #2 Não 10
   • Avaliador #1 Não/Avaliador #2 Sim 5
   • Total de observações: 100
   Neste exemplo, o percentual de acordo (Pa) seria o número de observações em que os avaliadores concordam (70+15) dividido pelo total de observações (100), ou 85 por cento. Isso será usado no numerador na equação final.
2. Calcule o acordo esperado devido ao acaso aleatório. Parte do acordo observado será devido a pura sorte. Podemos calcular quanto acordo seria visto se as observações fossem completamente aleatórias.
   • Ambos Sim 70
   • Ambos Não 15
   • #1 Sim/#2 Não 10
   • #1 Não/#2 Sim 5
   • Total observações: 100

   Dr. #1 avaliou Sim 80/100 ou 80% das vezes (0,80).
   Dr. #1 avaliou Não 20/100 ou 20% das vezes (0,20).
   Dr. #2 avaliou Sim 75/100 ou 75% das vezes (0,75).
   Dr. #2 avaliou Não 25/100 ou 25% das vezes (0,25).

   Se as observações fossem aleatórias, a probabilidade de ambos avaliarem Sim seria (0,80)x(0,75), ou 60%, e a probabilidade de ambos avaliarem Não seria (0,20)x(0,25), ou 5%.

   Então a probabilidade total de acordo devido ao acaso (Pe) seria a soma destes: (0,60)+(0,05), ou 65%. Isso será usado no numerador e denominador da equação final.

3. Calcule kappa usando a seguinte equação:

   k = (Pa) - (Pe)
       -----------
       1 - (Pe)

   No nosso exemplo, k = (0,85)-(0,65)/1-(0,65) = 0,57 ou 57 por cento.

4. Avalie kappa para determinar se o acordo inter-avaliadores é forte. Uma boa regra prática é que kappas acima de 80% são excelentes e acima de 60% são bons. Qualquer coisa abaixo de 60% é considerado acordo menos que ótimo.

   No nosso exemplo, 57% está na fronteira de boa confiabilidade inter-avaliadores, e resultados do estudo devem ser interpretados com isso em mente.

5. Avalie kappa para mais de dois avaliadores usando cálculos de kappa de Fleiss. Este é um cálculo muito mais complicado que deve ser feito por computador.