Interrater-Reliabilität
Unter Interrater-Reliabilität versteht man die Höhe der Übereinstimmungen der Einschätzungsergebnisse bei unterschiedlichen Beobachtern bzw. bei unterschiedlichen "Testanwendern" (Rater).
Handelt es sich um zwei unterschiedliche Beobachter, die gleichzeitig mehrere Probanden einschätzen, so lässt sich die Interrater-Reliabilität mittels Korrelationskoeffizienten errechnen. Dies gilt primär für ordinale und metrische Daten Bei mehr als zwei Beobachtern steht der Intra-Class-Korrelationskoeffizient zur Verfügung.
Bei nominalen Daten steht der sog. Kappa-Koeffizient zur Verfügung
Eine hohe Korrelation bedeutet allerdings nicht, dass die Rater das selbe erfassen:
wenn z.B. Rater B immer 10 Punkte mehr erfasst, erhält man r=1! Diesen Effekt kann man mit Hilfe des Bland-Altmann-Plots veranschaulichen (X-Achse = Mittelwert, Y-Achse = Differenz)
siehe auch
Für metrische/kontinuierliche Daten erfolgt die Berechnung der Interraterreliabilität über die Intraclasskorrelation (ICC).
Als exzellent gilt eine Übereinstimmungsreliabilität ab >.75.
