Prüfer auf dem Prüfstand

Die Fähigkeit, eine Studie zu wiederholen und dasselbe Ergebnis zu erzielen, ist ein Grundpfeiler für Glaubwürdigkeit in der Forschung. Inwiefern wird diese Glaubwürdigkeit aber beeinträchtigt, wenn die Hälfte der Forschungsergebnisse einer Disziplin nicht repliziert werden kann? Das ist die Frage, mit der sich die sozial- und verhaltenswissenschaftliche Gemeinschaft nach der Veröffentlichung einer wegweisenden Studie in Nature konfrontiert sieht, die ergab, dass Forscher*innen die Ergebnisse veröffentlichter Studien nur etwa zur Hälfte erfolgreich replizieren konnten.

In einem bisher beispiellosen Gemeinschaftsprojekt schlossen sich Forscher*innen der Constructor University mehr als 800 Sozialwissenschaftler*innen aus der ganzen Welt an, um fast 4.000 Behauptungen aus mehreren hundert veröffentlichten Studien auf Reproduzierbarkeit, Replizierbarkeit und Robustheit zu bewerten. Die Initiative mit dem Namen SCORE (Systematizing Confidence in Open Research and Evidence – Systematische Bewertung der Verlässlichkeit in Open Research-Ergebnisse und Evidenz) startete 2019 und umfasste drei separate Studien zur Bewertung der Glaubwürdigkeit sozialwissenschaftlicher Forschungsprojekte, die zwischen 2009 und 2018 veröffentlicht wurden. Die Ergebnisse aller drei Studien wurden in diesem Monat in Nature veröffentlicht und lösten eine Welle von Reaktionen aus, darunter redaktionelle Stellungnahmen sowohl von Nature als auch von Science sowie eine Berichterstattung in der New York Times.

Dr. Ulrich Kühnen, außerordentlicher Professor für Psychologie an der Constructor University, ist Mitautor der Replizierbarkeitsstudie und optimistisch, dass das Projekt trotz der aufmerksamkeitsstarken Schlagzeilen einen Gewinn für das Fachgebiet darstellen wird. „Dies sollte nicht als grundsätzliche Kritik an den Sozialwissenschaften als unzuverlässiges Forschungsfeld gesehen werden, das wäre schlichtweg falsch”, sagt er. „Es ist ein Aufruf zu weiterer Forschung, die die Randbedingungen früherer Erkenntnisse identifiziert und uns hoffentlich hilft, die zugrunde liegenden Prozesse gründlicher zu verstehen.”

Diese Randbedingungen umfassen spezifische Umstände wie kulturellen Kontext, Zeitraum, Bevölkerungsmerkmale und methodische Ansätze, die Ergebnisse beeinflussen und Forscher*innen gleichzeitig helfen zu verstehen, wann und wo ein Befund vernünftigerweise zutreffen wird. Prof. Kühnen verwendet das einfache Beispiel einer Studie über Stimmung, bei der ein lustiges Video verwendet werden könnte, um eine bestimmte emotionale Reaktion bei Teilnehmer*innen hervorzurufen. Derselbe Versuch, 15 Jahre später repliziert, könnte eine völlig andere Reaktion hervorrufen, wenn das Video nach aktuellen Maßstäben nicht mehr als lustig angesehen wird.

„Die wichtigste Konsequenz ist, dass wir lernen, Replikationen und gescheiterte Replikationen zu betrachten, um die Randbedingungen zu untersuchen, die uns sagen, wann ein Befund repliziert wird und wann nicht. So bringen wir unser Fachgebiet voran. Wenn wir herausfinden, dass etwas von dem wir glaubten, es sei wahr, gar nicht unbedingt wahr ist, sollte das nicht als Krise gesehen werden. Wir sind Forscher*innen, und natürlich sind wir immer offen dafür, unsere Meinung zu ändern, wenn bessere Beweise vorliegen.”

cos.io/score