Am 2. April 2026 wurde eine wegweisende Studie in der renommierten Fachzeitschrift Nature veröffentlicht. Die Untersuchung mit dem Titel „Investigating the analytical robustness of the social and behavioural sciences“ beleuchtet die analytische Robustheit in den Sozial- und Verhaltenswissenschaften und wird unter der Leitung von Balázs Aczél und Barnabás Szászi, Professoren an der Eötvös Loránd Universität und der Corvinus Universität, durchgeführt. Diese internationale Studie ist Teil des Programms „Systematizing Confidence in Open Research and Evidence“ (SCORE).
Ein Team von 457 Analysten aus verschiedenen Institutionen weltweit, darunter etwa 60 aus Deutschland und vier von der Goethe Universität Frankfurt, war an der Studie beteiligt. Sie führten insgesamt 504 Reanalysen von Daten aus 100 zuvor veröffentlichten Studien durch. Alle Analysten erhielten denselben Datensatz und dieselbe Forschungsfrage, wählten jedoch unterschiedliche Methoden zur Analyse der Daten. Dies stellt eine signifikante Abweichung von der gängigen Praxis dar, bei der ein einzelner Forscher oder ein Team für die Analyse verantwortlich ist, was in der Regel zu einem spezifischen Veröffentlichungsergebnis führt.
Ergebnisse und Erkenntnisse
Die Ergebnisse der Studie offenbaren erhebliche Unterschiede in den Resultaten unabhängiger Analysen derselben Fragestellung. Ein zentrales Ergebnis zeigt, dass nur etwa ein Drittel der Reanalysen mit den ursprünglichen Ergebnissen übereinstimmte. Obwohl die Mehrheit (74 %) der Reanalysen die zentralen Aussagen der Originalstudien bestätigte, variieren die Effektgrößen und Unsicherheitsgrade erheblich. Insbesondere fiel auf, dass die mittlere Effektstärke der Reanalysen kleiner war als die der Originalstudien.
Diese Diskrepanzen sind nicht auf mangelnde Fachkenntnisse der Wissenschaftler zurückzuführen. Selbst erfahrene Forscher erzielten abweichende Resultate. Die Analysten berichten zudem, dass vor allem bei Umfragedaten, die komplexe Auswertungen erfordern, Unterschiede auftraten. Prof. Dr. Jan Landwehr von der Goethe-Universität Frankfurt hob hervor, wie wichtig konsistente Ergebnisse aus unterschiedlichen Analyseansätzen sind, um die Glaubwürdigkeit der empirischen Forschung zu stärken.
Die Bedeutung der Studie für die Wissenschaft
Die Studie unterstreicht die Notwendigkeit einer verstärkten wissenschaftlichen Zusammenarbeit und den Austausch über methodische Entscheidungen in der empirischen Forschung. Universitäten und Forschungsinstitute sind aufgefordert, Transparenz zu fördern, um die Reproduzierbarkeit von Ergebnissen zu gewährleisten. Auch wenn die Ergebnisse nicht unzuverlässig sind, zeigen sie auf, dass oft mehrere Studien nötig sind, um wissenschaftliche Hypothesen zu validieren.
Die Untersuchung beleuchtet nicht nur die Herausforderungen in den Sozial- und Verhaltenswissenschaften, sondern sendet auch einen dringenden Appell an die Forschungsgemeinschaft, ihre Analyseansätze zu hinterfragen und durch Kooperation die wissenschaftliche Integrität zu stärken. So könnte eine gemeinsame Anstrengung dazu beitragen, die Evaluierung von Forschungsergebnissen in Zukunft zu verbessern und mehr Klarheit über die erlangten Erkenntnisse zu schaffen. Die vollständigen Details der Studie sind in der Veröffentlichung auf der Webseite der Goethe Universität Frankfurt zu finden.