Читать книгу Handbuch Schulpsychologie - Группа авторов - Страница 36

Häufig gibt es zu einer konkreten Forschungsfrage diverse (quasi-)experimentelle Quer- und/oder Längsschnittstudien, sodass nicht nur ein empirischer Befund, sondern sehr viele, auf den ersten Blick auch widersprüchliche Einzelergebnisse vorliegen. Dann besteht die Aufgabe der Forschung darin, diese unterschiedlichen Befunde gemeinsam zu bewerten, um weitere Forschungsdesiderate sowie mögliche Handlungskonsequenzen ableiten zu können. Hier lassen sich zwei Vorgehensweisen unterscheiden: die Metaanalyse und das narrative Review.

Bei einer Metaanalyse (Glass, 1976) werden mehrere empirische Einzelbefunde zu einem gemeinsamen inhaltlichen Themengebiet miteinander verglichen und systematisch zusammengefasst. Die Untersuchungseinheiten einer Metaanalyse bilden die einzelnen empirischen Studien (sog. Primärstudien), deren Ergebnisse statistisch analysiert und aggregiert werden. Auch in einem narrativen Review wird die Forschungsliteratur zu einem konkreten Thema gesammelt und zusammengefasst, jedoch nicht mit statistischen Verfahren, sondern in qualitativ beschreibender Art (vgl. Cook, Mulrow & Haynes, 1997). Zudem sind Metaanalysen von narrativen Reviews insofern abgrenzbar, als sie sich durch im Vorhinein exakt definierte Kriterien zur Auswahl der Primärstudien auf Ebene statistischer Indikatoren und einer systematischen Dokumentation des Prozesses der Ergebnisaggregation auszeichnen. Im Vergleich zu narrativen Reviews sind Metaanalysen daher durch eine größere Objektivität charakterisiert. Das Ziel einer Metanalyse besteht zudem nicht nur in der Aggregation der Ergebnisse zu einem statistischen Kennwert, sondern in der Quantifizierung der Unterschiedlichkeit bzw. Heterogenität der Befunde aus den Primärstudien. Hierbei können zusätzlich Drittvariablen identifiziert werden, die diese Variabilität der Befunde erklären können (sog. Moderatorvariablen).

Die Bedeutung metaanalytischer Techniken nimmt nicht zuletzt vor dem Hintergrund eines enormen Zuwachses empirisch-wissenschaftlicher Studien zu bestimmten Untersuchungsbereichen und der damit verbundenen Wissensexplosion zu. Die Technik der Metaanalyse ist jedoch nicht in jedem Fall sinnvoll. Sie eignet sich beispielsweise nicht, wenn lediglich eine sehr kleine Anzahl empirisch-quantitativer Primärstudien vorliegt, die zudem heterogen hinsichtlich der methodischen Qualität und/oder hinsichtlich der Operationalisierung der interessierenden Konstrukte sind. Auch zur Darstellung der historischen Entwicklung eines konkreten Forschungsfeldes ist die Metaanalyse weniger geeignet. Hierfür ist ein klassisches narratives Literaturreview die Methode der Wahl.

Bei der Anwendung metaanalytischer Techniken ist auch zu berücksichtigen, dass psychologische Forschung in den letzten Jahren zunehmend wegen der geringen Replizierbarkeit einiger Befunde in die Kritik geraten ist. In deutlich mehr als 90 % der publizierten psychologischen Studien werden die postulierten Effekte tatsächlich empirisch nachgewiesen (Yong, 2012). Das spricht für einen systematischen Selektionseffekt: Studien, bei denen keine signifikanten Effekte gefunden werden, werden oftmals nicht veröffentlicht (publication bias), so dass in der Literatur mit einer überrepräsentativ hohen Zahl positiver Befunden zu rechnen ist. Dies erklärt unter anderem auch, wieso ein substanzieller Anteil empirischer Forschungsbefunde in der Psychologie nicht repliziert, d. h. in wiederholenden Untersuchungen nicht erneut nachgewiesen, werden kann (Open Science Collaboration, 2015). Bei Metaanalysen wird daher die tatsächliche Größe eines Effekts mit hoher Wahrscheinlichkeit überschätzt. Lösungsansätze für diese sogenannte Replikationskrise werden unter anderem in einer größeren methodischen Transparenz der Forschungsprozesse (z. B. durch die Präregistrierung von Studien), sowie der Auseinandersetzung mit der statistischen Validität ( Abschnitt 3.2.4) der Untersuchungsergebnisse gesehen (Simmons et al., 2011).