Werden mehr als zwei Gruppen auf Unterschied in der Lage untersucht, so hängt die Wahl der Methode genauso wie beim Vergleich von zwei Gruppen von der Art und der Verteilung der Daten ab. Zunächst sind folgende Fragen zu beantworten:

Wenn unverbundene Stichproben vorliegen, die normalverteilt sind, so muss zusätzlich überprüft werden, ob die Stichproben gleiche Varianzen haben. Ist das der Fall, so wird die Varianzanalyse (ANOVA, ANalysis Of VAriance) verwendet.

Wenn die unverbundenen Stichproben nicht normalverteilt sind oder ungleiche Varianzen haben, so wird die nichtparametrische Alternative – der Kruskal-Wallis-Test verwendet.

Hat man verbundene normalverteilte Stichproben, wird überprüft, ob Sphärizität vorliegt. Ist dies der Fall, so verwendet man die ANOVA mit Messwiederholungen.

Gilt keine Sphärizität, so kann man eine Korrektur verwenden (z.B. Greenhouse-Geisser Korrektur), oder man setzt die nichtparametrische Alternative zur ANOVA mit Messwiederholungen ein: den Friedman-Test.

Der Friedman-Test wird grundsätzlich auch verwendet, wenn verbundene nicht normalverteilte Stichproben vorliegen.

All diese Methoden geben die jeweilige Teststatistik und den p-Wert zurück.  Ist der p-Wert größer als 0,05, so kann kein signifikanter Unterschied zwischen den Gruppen nachgewiesen werden (was nicht heißt, dass es keinen gibt).

Ist der p-Wert kleiner 0,05, so gibt es einen signifikanten Unterschied (signifikant auf dem Niveau 0,05) zwischen den Gruppen. Die Antwort auf die Frage, wo genau dieser Unterschied liegt, also zwischen welchen Paaren, liefern diese Methode nicht. Das muss anschließend mit so genannten Post-Hoc-Tests (Paarvergleiche) untersucht werden.