Von Daniela Keller, Diplom-Mathematikerin und Statistik-Expertin · Zuletzt inhaltlich aktualisiert am

Die Reliabilität einer Messung ist deren Verlässlichkeit. Sie gibt an, wie genau ein Merkmal gemessen wird und damit, ob die Daten reproduzierbar sind. Sie wird oft zur Qualitätskontrolle in psychologischen Tests, aber auch in medizinischen Untersuchungen eingesetzt.

Kurz gesagt

Reliabilität beschreibt, wie verlässlich eine Messung ist, also ob sie reproduzierbar ist. Bei der Inter-Rater-Reliabilität geht es darum, wie gut verschiedene Beurteiler übereinstimmen, bei der Intra-Rater-Reliabilität darum, wie gut wiederholte Messungen desselben Beurteilers übereinstimmen. Welche Kennzahl passt, hängt vom Skalenniveau und der Zahl der Beurteiler ab. Werte nahe 1 stehen für eine gute Reliabilität.

Interessante Fragestellungen sind zum Beispiel:

  1. Werden Röntgenbilder von verschiedenen Ärzten verlässlich interpretiert?
  2. Werden die Persönlichkeitsmerkmale anhand einer bestimmten Skala von verschiedenen Psychologen verlässlich eingeschätzt?
  3. Werden Röntgenbilder vom gleichen Arzt verlässlich interpretiert?
  4. Schätzen Patienten ihre Persönlichkeitsmerkmale anhand einer bestimmten Skala verlässlich ein?

Frage 1 und 2 zielen dabei auf die Inter-Variabilität der Messung ab: Wie unterscheiden sich die Messungen zwischen den Beobachtern (Observer, Rater)?

→ Inter-Observer-Variability, Inter-Rater-Variability

Frage 3 und 4 fragen nach der Intra-Variabilität der Messung: Wie unterscheiden sich mehrere Messungen eines Beobachters?

→ Intra-Observer-Variability, Intra-Rater-Variability

 

    Du willst mehr Durchblick im Statistik-Dschungel?

    Zur Messung der Variabilität stehen verschiedene statistische Methoden zur Verfügung, die vom Skalenniveau der Daten abhängen und davon, ob es 2 oder mehr Observer/Messungen zu vergleichen gibt. Die folgende Tabelle gibt einen Überblick über eine Auswahl an statistischen Kennzahlen für die Reliabilität von Messungen.

    Die meisten dieser Koeffizienten liegen in der Praxis zwischen 0 und 1. Werte nahe 1 beschreiben eine gute Übereinstimmung, also eine gute Reliabilität. Werte nahe 0 bedeuten, dass die Messungen stark streuen und somit nicht verlässlich sind. Bei Kappa sind auch negative Werte möglich, sie zeigen eine Übereinstimmung, die noch schlechter ist als zufällig erwartet. Landis und Koch (1977) geben folgende Hilfestellung zur Interpretation der Koeffizienten als Grad der Übereinstimmung:

    • kleiner 0: poor
    • 0 – 0.2 slight
    • 0.2 – 0.4 fair
    • 0.4 – 0.6 moderate
    • 0.6 – 0.8 substantial
    • 0.8 – 1 (almost) perfect

    Der Pearson-Koeffizient liegt zwischen -1 und 1. Er misst allerdings nur, ob die Beurteilungen zusammenhängen, nicht, ob sie übereinstimmen: Bewertet eine Person systematisch immer einen Punkt höher als die andere, ist die Korrelation trotzdem perfekt. Für metrische Daten ist deshalb der Intraklassen-Korrelationskoeffizient (ICC) das bessere Maß für die Reliabilität.

    Einen weiteren Überblick zur Reliabilität findest du in meinem Artikel Was ist die Reliabilität einer Messung?.

    Referenzen

    • J. R. Landis, G. G. Koch: The measurement of observer agreement for categorical data. In: Biometrics. 33, 1977, 159-174.
    • John Uebersax: Statistical Methods for Rater and Diagnostic Agreement. http://www.john-uebersax.com/stat/agree.htm