Die Glaubwürdigkeit von Forschungsergebnissen steht auf dem Prüfstand: Eine aktuelle Studie aus dem renommierten Fachjournal Nature zeigt, dass etwa die Hälfte der Ergebnisse in den Sozialwissenschaften nicht repliziert werden kann. Diese erschreckende Bilanz ist das Resultat des internationalen SCORE-Projekts (Systematizing Confidence in Open Research and Evidence), an dem über 800 Sozialwissenschaftler*innen weltweit beteiligt sind. Die Untersuchung, die 2019 ins Leben gerufen wurde, analysierte fast 4.000 Behauptungen aus zahlreichen Studien, die zwischen 2009 und 2018 veröffentlicht wurden. Die Ergebnisse, die in diesem Monat veröffentlicht wurden, verursachten umfangreiche Reaktionen in der Wissenschaftswelt, einschließlich Stellungnahmen von Nature und Science sowie der New York Times.
Die Mitautoren der Studie, darunter Dr. Ulrich Kühnen, betrachten das SCORE-Projekt nicht als Kritik an den Sozialwissenschaften, sondern als Chance zur Verbesserung des Fachgebiets. Kühnen hebt hervor, dass wichtige Randbedingungen wie kultureller Kontext, Zeitraum, Bevölkerungsmerkmale und methodische Ansätze erhebliche Auswirkungen auf die Ergebnisse haben können. Zudem betont er die Notwendigkeit von Replikationen und gescheiterten Replikationen, um das Verständnis von Forschung zu vertiefen.
Ein kritischer Blick auf Reproduzierbarkeit
Die Reproduzierbarkeit ist ein zentrales Kriterium für die Glaubwürdigkeit wissenschaftlicher Ergebnisse. Wie wissenschaft.de berichtet, beschreibt die Untersuchung, dass nur etwa die Hälfte der analysierten Studien erfolgreich nachvollzogen werden konnte. Viele der untersuchten Studien wiesen Mängel bei der Bereitstellung von Rohdaten sowie bei den Informationen zur computergestützten Auswertung auf. Dies zeigt sich auch in den Ergebnissen einer Analyse, die von einem Team um Olivia Miske durchgeführt wurde, wo lediglich 53% der Daten reproduzierbar waren.
Die Herausforderungen der Reproduzierbarkeit erstrecken sich über verschiedene Fachbereiche. So fanden weitere Studien, dass politikwissenschaftliche und ökonomische Untersuchungen häufig über bessere Verfügbarkeiten von Rohdaten und eine höhere Reproduzierbarkeit verfügen. Dr. Greculescu, ein weiterer Mitautor, hebt die Bedeutung von SCORE für die Förderung transparenterer Forschungspraktiken hervor. SCORE fördert die Offenheit in der Forschung, indem alle Daten und Codes über eine Open-Access-Datenbank zugänglich gemacht werden.
Wichtigkeit von Offenheit in der Forschung
Besonders die Transparenz in den Forschungspraktiken wird von den Ergebnissen des SCORE-Projekts unterstrichen. Die SCORE-Datenbank stellt eine empirische Grundlage zur Untersuchung der Randbedingungen bereit, die die Replikation beeinflussen. In einem Zusammenhang betont Kühnen, dass diese Veröffentlichung in einer renommierten Zeitschrift wie Nature den Fokus auf wissenschaftliche Integrität und Open Science lenkt.
Die Ergebnisse des SCORE-Projekts sollen als Weckruf für die Sozialwissenschaften dienen und gleichzeitig Hinweise zur Verbesserung liefern. Wissenschaftler*innen sehen darin eine Möglichkeit, die Integrität der Forschung zu wahren und nach vorne zu schauen.