Читать книгу Lernwirksamer Unterricht - Inez De Florio-Hansen - Страница 16

Bevor ich auf die häufig geäußerten Einschränkungen von Meta-Analysen eingehe, möchte ich auf die Grundvoraussetzung für die Erstellung einer Meta-Analyse, nämlich die Notwendigkeit statistischer Expertise, hinweisen. Obgleich es selten als Nachteil von Meta- und Mega-Analysen angesehen wird, ist der Kreis der Forscher, der diese umfänglichen Studien erarbeiten kann, ohne Zweifel eingeschränkt. Hierzu schreibt Hartley (HARTLEY 2012: E135) in seiner Besprechung von Hatties Visible Learning for Teachers (2012): “To my mind, the most serious criticism is that, in order to calculate an effect-size, you have to know or be able to work with certain statistical data.” In der Tat ist es ohne vertiefte Erfahrungen mit statistischer Datenauswertung unmöglich, Effektstärken zu berechnen. Hinzu kommt, dass der subjektive Faktor auf alle Fälle bei der Aufbereitung und Interpretation der Daten eine große Rolle spielt (vgl. 1.6, Schritt 6 bei der Erarbeitung einer Meta-Analyse).

Für viele Kritiker besteht das Hauptproblem von Meta-Analysen im garbage in-garbage out-Faktor. Wer Müll, d.h. Studien minderer Qualität, in eine Meta-Analyse aufnimmt, kann auch nur Müll herausbekommen. Mit anderen Worten: Eine Meta-Analyse ist nur so gut, wie die Primärstudien, die in ihr berücksichtigt werden. Ihre Sorgfalt und ihre Redlichkeit (vgl. 1.1) stellen Forscher dadurch unter Beweis, dass sie ihr Vorgehen beim Erstellen einer Meta-Analyse offenlegen. Bei der Darlegung sollten sie zumindest Antworten auf folgende Fragen ermöglichen:

• Bezieht der Forscher nur Ergebnisse aus randomisierten Experimenten oder Quasi-Experimenten in seine Meta-Analyse ein?

• Macht er den Rückgriff auf andere quantitative Studien explizit? Womit begründet er ihn?

• Wie gewichtet er Primärstudien minderer Qualität, wenn er nicht ganz auf sie verzichten will?

• Wie geht er mit unterschiedlichen Stichprobengrößen um? D.h. gehen Studien mit kleinen Stichproben gleichwertig mit den Ergebnissen aus größeren Stichproben in die Berechnung der Effektstärken ein oder erfolgt eine Gewichtung?

• Sichtet er die Primäranalysen auch hinsichtlich der relevanten Begriffe, d.h. ist beispielsweise mit concept mapping stets ein vergleichbares Verfahren gemeint?

• Bemüht er sich, auch Studien einzubeziehen, die unveröffentlicht geblieben sind, weil sie nur geringe oder sogar konträre Effekte belegen?

Diese Fragen sollen Praktikern und an Unterricht interessierten Personen helfen, vorgelegte Meta-Analysen leichter zu beurteilen, denn Meta-Analysen können einen herausragenden Beitrag zur Verbesserung des Lehrens und Lernens leisten (zur praxisbezogenen Nutzung der wesentlichen Erkenntnisse aus neueren Meta-Analysen vgl. Kap. 6 bis 10). Meta-Analysen gestatten die Zusammenfassung einschlägiger Forschungsergebnisse aus kleineren Untersuchungen zu einer Gesamtschau und ermöglichen durch die Angabe der Effektstärken eine wichtige Orientierung für die Unterrichtspraxis. In jedem Fall ist eine auf Evidenz basierende Praxis einer auf Gewohnheit gegründeten Praxis („Das habe ich schon immer so gemacht“) vorzuziehen. Warum sollten wir nicht doch auf liebgewonnene Gewohnheiten, die nachweislich keine positive oder sogar negative Wirkung entfalten, verzichten?