Читать книгу Sozialpsychologie - Tobias Greitemeyer - Страница 24

Ein Effekt gilt als statistisch signifikant, wenn die Wahrscheinlichkeit eines Zufallsergebnisses unter fünf Prozent liegt.

Seit längerem ist bekannt, dass vor allem Studien in wissenschaftlichen Zeitschriften erscheinen, die signifikante Ergebnisse berichten (Sterling, Rosenbaum & Weinkam, 1995). In den letzten Jahren wurden verschiedene Replikationsprojekte (also die Wiederholung wissenschaftlicher Studien durch andere Wissenschaftler) durchgeführt, um zu überprüfen, ob die berichteten Ergebnisse in den Originalarbeiten erneut gefunden werden können. Dabei kam es zumeist zu ernüchternden Ergebnissen. In einem Projekt (Open Science Collaboration, 2015) zeigte sich, dass von 100 Replikationsstudien 36 signifikante Ergebnisse erzielten. In den Originalstudien dagegen hatten 97 signifikante Ergebnisse berichtet. Das Projekt rief Kritik hervor (z. B. Gilbert, King, Pettigrew & Wilson 2016), beispielsweise dass bedeutsame Unterschiede in der Vorgehensweise zwischen Original- und Replikationsstudie bestünden. Nichtsdestotrotz kann man festhalten, dass es einen Publikationsbias gibt, dass also überzufällig häufig Studien mit signifikanten Ergebnissen publiziert und viele der berichteten Effekte überschätzt werden. Der tatsächliche typische Effekt sozialpsychologischer Studien wird demnach geringer sein als r = .21 (Richard et al., 2003). In den folgenden Kapiteln wird häufig darauf eingegangen werden, inwiefern die berichteten Befunde sich auch in Replikationsstudien zeigten.

Ein Grund dafür, warum so wenige nicht signifikante Studien berichtet werden, ist, dass Wissenschaftler bei nicht signifikanten Ergebnissen kein Manuskript verfassen, das sie an eine Zeitschrift zur Begutachtung schicken. Ein weiterer Grund ist, dass wissenschaftlich fragwürdige Methoden verwendet werden, um signifikante Ergebnisse zu erzielen (Simmons, Nelson & Simonsohn, 2011). Beispielweise analysiert man nach 100 erhobenen Probanden die Daten. Wenn ein signifikantes Ergebnis zu finden ist, stoppt man die Datenerhebung. Ansonsten erhebt man weitere Probanden. Eine weitere Methode ist das Erheben verschiedener abhängiger Variablen und nur die Variablen werden berichtet, bei denen signifikante Effekte gefunden wurden. Die Verwendung solcher unwissenschaftlichen Methoden (zum Teil aus Unwissenheit über deren Bedeutung) ist weit verbreitet (John, Loewenstein & Prelec, 2012). Die geringe Replikationsrate in der Sozialpsychologie in Verbindung mit einigen aufgedeckten Betrugsfällen (Forscher hatten zugegeben, Daten gefälscht zu haben) führte jedoch zu einem massiven Umdenken. Beispielsweise werden Hypothesen, Methoden und geplante Analysen häufig präregistriert, also vor der Durchführung der Studien offengelegt. Die den Studien zugrundeliegenden Daten werden frei verfügbar gemacht, so dass andere Wissenschaftler die berichteten Ergebnisse überprüfen können. Die durchschnittlichen Probandenzahlen sind in den letzten Jahren deutlich angestiegen (Sassenberg & Ditrich, 2019). Und schließlich kam es zu einem Umdenken auf Seiten der wissenschaftlichen Zeitschriften, wodurch auch nicht signifikante Forschungsbefunde und Replikationen früherer Studien eine höhere Chance haben, publiziert zu werden. Es ist zu vermuten, dass die Replikationsrate neuerer Studien in zukünftigen Replikationsprojekten höher ausfallen wird.