Читать книгу Lernwirksamer Unterricht - Inez De Florio-Hansen - Страница 14

In den letzten Jahrzehnten sind systematic reviews zunehmend durch Meta-Analysen ergänzt bzw. durch sie ersetzt worden. Meta-Analysen fassen Primär-Untersuchungen zusammen und beschreiben mithilfe statistischer Methoden die durchschnittliche Effektstärke in einem Bereich, d.h. sie untersuchen, ob ein Effekt vorliegt und wie groß er ist. Der Begriff ‚Meta-Analyse‘ wurde 1976 von Gene V. Glass eingeführt. Er (Glass 1976) definiert Metanalyse als analysis of analyses. Bei der Meta-Analyse werden – wie bei den systematic reviews – also keine eigenständigen empirischen Untersuchungen durchgeführt. Vielmehr handelt es sich um die Sekundäranalyse von Primärstudien.

Die erste systematische Auswertung, die man als Meta-Analyse bezeichnen kann, wurde bereits Anfang des 20. Jahrhunderts von dem britischen Mathematiker Karl Pearson durchgeführt mit dem Ziel, durch Zusammenfassung von Studien mit relativ kleinen Stichproben zu genaueren und gesicherteren Ergebnissen zu kommen.

Die Erarbeitung einer Meta-Analyse erfolgt in der Regel in folgenden Schritten:

1. Am Anfang steht eine Forschungsfrage, z.B. wie lernwirksam sind Hausaufgaben? Da man die Effekte von Hausaufgaben nicht für alle Schulformen, Schulstufen und Unterrichtsfächer untersuchen kann, erfolgt eine Eingrenzung des Forschungsgegenstands.

2. Es schließt sich eine systematische und möglichst erschöpfende Literaturrecherche an, d.h. in unserem fiktiven Beispiel versucht der Forscher, alle Untersuchungen, die die Wirksamkeit von Hausaufgaben in einem bestimmten Bereich empirisch-quantitativ erforscht haben, ausfindig zu machen.

3. In der Sekundäranalyse im engeren Sinn werden nun die vorhandenen Studien auf der Grundlage der Qualitätskriterien, die für empirische Forschung gelten, geprüft. Bei der Auswahl spielen die oben skizzierten Grade der Evidenz eine wichtige Rolle.

4. Die ausgewählten Publikationen werden kodiert und elektronisch aufbereitet.

5. Anschließend werden die Daten einer statistischen Analyse unterzogen.

6. Am Ende müssen die Ergebnisse der statistischen Datenanalyse sachgerecht aufbereitet und hinsichtlich der Forschungsfrage angemessen interpretiert werden.

Aus der kurzen Beschreibung des mehrstufigen Prozesses bei der Erarbeitung von Meta-Analysen wird deutlich, dass die Güte solcher Synthesen zum Zweck der Generalisierung ganz wesentlich darauf beruht, welche Untersuchungen berücksichtigt werden und welche wegen mangelnder Qualität nicht in die Meta-Analyse einfließen (vgl. 1.3).

Ein (extremes) Beispiel macht deutlich, wie mühsam und problematisch die Auswahl geeigneter Primarstudien sein kann: Eine Forschergruppe um Carole J. Torgerson hat die Wirkung bestimmter Maßnahmen zur Förderung der Lese- und Rechenfähigkeiten von Erwachsenen (adult literarcy and numeracy) untersucht und in einer Meta-Analyse zusammengefasst. Carole Torgerson und ihre Mitarbeiter haben 4555 Studien gesichtet, aber letztlich nur zwölf (!) in ihre Meta-Analyse integriert (vgl. TORGERSON ET AL. 2005). Die ausgesonderten Untersuchungen stellten keinen eindeutig bestimmbaren Zusammenhang zwischen Ursache (Förderprogramm) und Wirkung (Verbesserung der Lese- und Rechenleistung der Versuchspersonen) her.

Einige Forscher und Forschergruppen begnügen sich inzwischen nicht mehr mit Meta-Analysen. Sie fassen möglichst viele, in einem Fall sogar alle, verfügbaren Meta-Analysen zu einer Mega-Analyse, d.h. einer Meta-Meta-Analyse, zusammen. Was wir aus solchen aufwendigen Unternehmungen für die evidenzbasierte Verbesserung von Lehren und Lernen entnehmen können, wird am Beispiel von John Hattie (2009; 2012; HATTIE & ANDERMAN 2013) im folgenden Kapitel dargestellt. Dabei bietet sich ein Vergleich von Hatties Mega-Analyse mit den Ergebnissen der umfangreichen empirisch-experimentellen Forschungen von Robert J. Marzano (1998; MARZANO ET AL. 2001) und Martin Wellenreuther (2004, ²2010) an.