ANOVA und Regression: zwei Namen, ein Modell

ANOVA und Regression lernst du meist als zwei verschiedene Methoden. In Wahrheit rechnest du beide Male dasselbe Modell. Warum das so ist und warum es trotzdem fast überall getrennt gelehrt wird, erfährst du hier.

In der Statistikvorlesung hast du wahrscheinlich zwei Kapitel kennengelernt, die nichts miteinander zu tun haben: Die Varianzanalyse (ANOVA) nimmst du, wenn du Gruppen vergleichen willst. Die lineare Regression nimmst du, wenn du den Einfluss von metrischen Variablen anschauen willst. Zwei Methoden, zwei Menüs in der Software, zwei Arten von Ergebnistabellen.

Und dann kommt irgendwann jemand (vielleicht ich) und sagt: Das ist eigentlich dasselbe. Wenn du da erst mal stutzt, geht es dir wie den meisten in meinen Kursen. Ich verspreche dir aber, wenn du diesen Zusammenhang einmal verstanden hast, wird dein Statistik-Werkzeugkasten auf einmal viel übersichtlicher.

Ein Modell für beides: das Allgemeine Lineare Modell

Sowohl die ANOVA als auch die lineare Regression sind Spezialfälle des Allgemeinen Linearen Modells, kurz ALM (auf Englisch General Linear Model, GLM). Die Grundidee passt in eine Zeile:

y = b₀ + b₁x₁ + b₂x₂ + … + e

In Worten heißt das: Dein Ergebnis y (die abhängige Variable) setzt sich zusammen aus einem Startwert b0, dazu kommen die Einflüsse deiner Prädiktoren x1, x2 und so weiter, jeweils gewichtet mit einem Koeffizienten b1, b2 und so weiter. Was das Modell nicht erklären kann, landet im Fehlerterm e.

Die Formel sagt nichts darüber, ob die x metrisch sind (Alter, Einkommen, Lernzeit) oder für eine Gruppenzugehörigkeit stehen (Therapie A oder B, Mann oder Frau). Das Modell ist in beiden Fällen dasselbe. Der einzige Unterschied ist, wie die Prädiktoren aussehen.

Kleiner Stolperstein bei den Begriffen: Das Allgemeine Lineare Modell ist nicht dasselbe wie das Verallgemeinerte Lineare Modell (Generalized Linear Model). Letzteres erweitert die Idee auf Ergebnisse, die nicht normalverteilt sind, zum Beispiel ja/nein-Daten in der logistischen Regression. Um das geht es in diesem Artikel aber nicht.

Das Beispiel: Gruppenvergleich als Regression

Nehmen wir ein Beispiel: Haben Frauen mehr Paar Schuhe als Männer? (Wir gehen jetzt mal davon aus, dass die Anzahl Schuhe viele Ausprägungen haben kann,  als metrische Variable verwendet wird und annähernd normalverteilt ist.)Klassischerweise würdest du dazu einen t-Test oder eine einfaktorielle ANOVA rechnen. Du kannst das Geschlecht aber auch als Prädiktor in eine Regression stecken. Dazu codierst du es als sogenannte Dummy-Variable: 0 für Männer, 1 für Frauen.

Schuhe = b₀ + b₁ · Frau + e

Jetzt wird es schön anschaulich. Bei Männern ist “Frau” gleich 0, also bleibt nur b0 übrig. b0 ist damit der Mittelwert der Männer. Bei Frauen ist “Frau” gleich 1, also ist ihr Mittelwert b0 + b1. Und b1 ist genau der Unterschied zwischen den beiden Gruppen.

Mit ausgedachten Zahlen: Haben Männer im Schnitt 8 Paar und Frauen 17 Paar, dann liefert dir die Regression b0 = 8 und b1 = 9. Der Signifikanztest für b1 prüft, ob dieser Unterschied von 9 Paar zufällig sein könnte. Und das ist exakt die Frage, die auch der t-Test für unabhängige Stichproben stellt. Du bekommst denselben t-Wert und denselben p-Wert (beim klassischen t-Test mit gleichen Varianzen).

Bei mehr als zwei Gruppen funktioniert das genauso, du brauchst nur mehr Dummies. Bei drei Gruppen (sagen wir Nord, Mitte, Süd) nimmst du eine Gruppe als Referenz und baust zwei Dummy-Variablen für die anderen beiden:

y = b₀ + b₁ · Mitte + b₂ · Süd + e

b0 ist dann der Mittelwert der Referenzgruppe Nord, b1 und b2 sind die Abstände der anderen Gruppen zu Nord. Der F-Test für das gesamte Regressionsmodell ist genau der F-Test der einfaktoriellen ANOVA. Und das R² der Regression ist dasselbe wie das Eta² aus der ANOVA, also der Anteil der Varianz, den die Gruppenzugehörigkeit erklärt.

Von da aus geht es beliebig weiter: Eine zweifaktorielle ANOVA ist eine Regression mit Dummies für beide Faktoren plus deren Produkt (die Interaktion). Eine Kovarianzanalyse (ANCOVA) ist eine Regression mit Dummies und zusätzlich einer metrischen Variable. Alles dasselbe Modell.

Warum lernen wir ANOVA und Regression als zwei Methoden?

Wenn es mathematisch dasselbe ist, warum wird es dann fast überall getrennt unterrichtet? Das hat vor allem historische Gründe, und die finde ich ehrlich gesagt ziemlich interessant.

Die Regression kommt aus der Tradition von Francis Galton und Karl Pearson, Ende des 19. Jahrhunderts. Die beiden wollten Zusammenhänge in Beobachtungsdaten beschreiben, zum Beispiel zwischen der Körpergröße von Eltern und Kindern. Die Varianzanalyse dagegen hat Ronald Fisher in den 1920er-Jahren entwickelt, als er an einer landwirtschaftlichen Versuchsstation Feldexperimente ausgewertet hat: Welcher Dünger bringt mehr Ertrag? Also geplante Experimente mit Gruppen.

Daraus sind zwei Forschungskulturen entstanden. Der Psychologe Lee Joseph Cronbach hat das 1957 sehr pointiert beschrieben als die “zwei Disziplinen” der Psychologie: Die Experimentalisten vergleichen Gruppen und rechnen ANOVA, die Korrelationsforscherinnen schauen sich Zusammenhänge an und rechnen Regression. Jede Seite hatte ihre eigenen Lehrbücher, ihre eigenen Begriffe und ihre eigene Art, Ergebnisse darzustellen.

Dazu kommt ein ganz praktischer Grund: Rechenaufwand. Bevor es Computer gab, war eine ANOVA mit gleich großen Gruppen per Hand gut machbar, weil man nur Mittelwerte und Quadratsummen braucht. Eine multiple Regression erfordert dagegen Matrixrechnung, und die per Hand zu machen ist richtig mühsam. Die Quadratsummen-Tabelle der ANOVA ist also auch ein Rechenrezept aus einer Zeit ohne Software.

Dass beides zusammengehört, war Statistikern eigentlich schon lange klar. Bekannt gemacht hat es in der Psychologie vor allem Jacob Cohen mit seinem Artikel “Multiple regression as a general data-analytic system” von 1968. Bis das in der Lehre ankommt, dauert es aber, und in vielen Lehrplänen ist es bis heute nicht wirklich angekommen.

So zeigt sich die Trennung in Statistikbüchern

Schlag mal ein klassisches Statistiklehrbuch auf. Meistens findest du ein Kapitel “Varianzanalyse” und ein ganz anderes Kapitel “Regression”, oft weit voneinander entfernt und mit kaum Querverweisen. Dazu kommen zwei Vokabulare für dieselben Dinge:

In der ANOVA heißt es	In der Regression heißt es
Faktor, Gruppenvariable	Prädiktor, Dummy-Variable
Haupteffekt	Regressionskoeffizient b
Quadratsumme zwischen den Gruppen	erklärte Quadratsumme
Quadratsumme innerhalb der Gruppen	Residuen-Quadratsumme
Eta²	R²
F-Test des Faktors	F-Test des Modells

Auch die Darstellung ist anders: Im ANOVA-Kapitel steht die Zerlegung der Varianz im Mittelpunkt, mit der typischen Tabelle aus Quadratsummen, Freiheitsgraden und F-Wert. Im Regressionskapitel geht es um eine Gerade durch eine Punktwolke und um Koeffizienten. Wer das so lernt, kommt gar nicht auf die Idee, dass hinter beiden Tabellen dasselbe Modell steckt.

Es gibt aber auch Bücher, die das anders machen. Einige Lehrbücher führen die ANOVA ausdrücklich als Spezialfall des Allgemeinen Linearen Modells ein, und in manchen Klassikern gibt es eigene Kapitel zum ALM, die die Verbindung zeigen (Field, 2013).

So zeigt sich die Trennung in der Software

In der Software geht die Trennung weiter, und hier wird es fast ein bisschen witzig.

In SPSS findest du die einfaktorielle ANOVA unter “Mittelwerte vergleichen” und die lineare Regression unter “Regression”. Die mehrfaktorielle ANOVA versteckt sich dagegen in einem Menü, das “Allgemeines lineares Modell” heißt. SPSS verrät dir den Zusammenhang also direkt im Menünamen, aber kaum jemand achtet darauf. Im Regressionsmenü musst du kategoriale Variablen außerdem selbst in Dummies umcodieren, während das ALM-Menü das im Hintergrund für dich erledigt. Und die Ausgaben sehen völlig unterschiedlich aus: einmal die ANOVA-Tabelle mit Quadratsummen, einmal die Koeffiziententabelle.

In R sieht man die Verbindung am deutlichsten. Die Funktion aov() für die ANOVA ruft intern einfach lm() auf, also die Funktion für lineare Regression. Du kannst auch direkt ein Regressionsmodell rechnen und dir mit anova() die ANOVA-Tabelle dazu ausgeben lassen, oder mit summary() die Koeffizienten. Gleiches Modell, nur zwei Arten, das Ergebnis anzuzeigen.

In jamovi gibt es wieder getrennte Menüs für ANOVA und Regression. In der linearen Regression kannst du aber kategoriale Variablen direkt als Faktoren einsetzen, jamovi baut die Dummies dann automatisch.

Der Unterschied zwischen den Menüs liegt also fast nur in der Ausgabe: Die ANOVA-Menüs zeigen dir die Varianzzerlegung und den F-Test pro Faktor, die Regressionsmenüs zeigen dir die einzelnen Koeffizienten. Beides kannst du aus demselben Modell bekommen.

Was dir das für deine eigene Auswertung bringt

Wenn du ANOVA und Regression als ein Modell siehst, musst du dir viel weniger merken. Statt einer eigenen Schublade für jedes Verfahren stellst du dir immer dieselbe Frage: Was ist meine abhängige Variable, und welche Prädiktoren nehme ich ins Modell? Ob die Prädiktoren Gruppen oder metrische Messwerte sind, ist dann zweitrangig. Und wenn deine Forschungsfrage beides enthält, also zum Beispiel Therapiegruppe und Alter, nimmst du einfach beides ins Modell.

Auch die Voraussetzungen kennst du dann nur noch einmal: Normalverteilte Residuen, Varianzhomogenität und Unabhängigkeit der Beobachtungen gelten für beide, weil es eben dasselbe Modell ist. Und der Schritt zu weiterführenden Verfahren wie gemischten Modellen fällt dir viel leichter, weil die auf genau dieser Idee aufbauen.

Zwei Dinge solltest du trotzdem im Blick behalten. Die Ergebnisse können je nach Software leicht unterschiedlich aussehen, weil die Programme die Dummies unterschiedlich codieren (welche Gruppe ist die Referenz?) und bei ungleich großen Gruppen unterschiedliche Typen von Quadratsummen verwenden. Am gemeinsamen Modell ändert das nichts, das sind nur Einstellungen. Schau also immer nach, was deine Software da standardmäßig macht.

ANOVA oder Regression, das ist am Ende nur eine Frage der Perspektive auf ein und dasselbe Modell. Wenn du das einmal verinnerlicht hast, wirkt der Statistik-Werkzeugkasten auf einmal viel aufgeräumter.

Quellen und Lesetipps

• Cohen, J. (1968). Multiple regression as a general data-analytic system. Psychological Bulletin, 70(6), 426-443.
• Cronbach, L. J. (1957). The two disciplines of scientific psychology. American Psychologist, 12, 671-684.
• Field, A. (2013). Discovering statistics using IBM SPSS Statistics. 4. Auflage, Sage.