Wissenschaftler:innen aus aller Welt haben die Robustheit von Forschungsergebnissen in den Sozial- und Verhaltenswissenschaften eingehend untersucht. In einer bedeutenden Studie, die kürzlich in der renommierten Fachzeitschrift Nature veröffentlicht wurde, erkannten 457 Analysten, dass die Art und Weise, wie Daten analysiert werden, gravierende Auswirkungen auf die erzielten Ergebnisse hat. Unter der Leitung von Balázs Aczél und Barnabás Szászi von der Eötvös Loránd Universität und der Corvinus Universität in Ungarn führten die Forscher:innen insgesamt 504 Reanalysen von Daten aus 100 publizierten Studien durch.
Die Ergebnisse der Reanalysen sorgten für Aufsehen: Obwohl die meisten Studien die Hauptthesen der Originalarbeiten bestätigten, variieren die Effektgrößen und Unsicherheitsgrade erheblich. Verblüffend ist, dass in nur einem Drittel der Fälle alle Analysten zu identischen Ergebnissen kamen. Diese Diskrepanzen sind nicht nur auf mangelnde Fachkenntnisse zurückzuführen, denn selbst erfahrene Forscher:innen erzielten oft abweichende Resultate.
Ein Aufruf zur Zusammenarbeit
Die Studie, die im Kontext des SCORE-Programms durchgeführt wurde, stellt die Frage, inwiefern die unterschiedlichen Analysemethoden die Forschungslandschaft beeinflussen. Standardmäßig wird ein Datensatz von einem einzelnen Forscher oder Team bearbeitet; die neu gewonnenen Erkenntnisse zeigen, dass dies zu erheblichen Abweichungen führen kann. Dies könnte im schlimmsten Fall das Vertrauen in die Ergebnisse gefährden, was auch von Prof. Dr. Jan Landwehr von der Goethe-Universität Frankfurt betont wird, der auf die Bedeutung konsistenter Ergebnisse hinweist.
Darüber hinaus legt die zunehmende Diskussion über Reproduzierbarkeit in der Wissenschaft nahe, dass Transparenz und Zusammenarbeit zwischen Forschungsteams für die Zukunft von zentraler Bedeutung sind. Die Autoren der Studie plädieren für Multi-Analysten-Ansätze, um die Stabilität wissenschaftlicher Ergebnisse sichtbar zu machen und empirische Unsicherheiten besser abzubilden. In den letzten zehn Jahren wurden bereits Reformen in den Sozial- und Verhaltenswissenschaften initiiert, um die wissenschaftliche Praxis transparenter und zuverlässiger zu gestalten.
Datenanalyse im Fokus
Eine weitere wichtige Erkenntnis der Analyse ist, dass insbesondere Beobachtungsstudien oft weniger robust sind als experimentelle. Dies ist ein wesentlicher Hinweis für zukünftige Forschungsansätze, denn unterschiedliche statistische Modelle und Entscheidungspunkte in der Datenanalyse haben erheblichen Einfluss auf die Schlussfolgerungen, die aus den Daten gezogen werden. Somit stellt sich die Frage, wie Forschungsergebnisse effektiver und verlässlicher kommuniziert werden können.
In einer Zeit, in der Datenmengen und Analyse-Tools rasant wachsen, betont die Diskussion über die Reproduzierbarkeit auch die Notwendigkeit, die verwendeten Methoden offenzulegen. Immer häufiger wird gefordert, dass Forschungsarbeiten nicht nur Publikationen, sondern auch Daten und Analyse-Tools in offenen Repositories bereitstellen, um die Ergebnisse nachvollziehbar zu machen, wie aktuellen Berichten zu entnehmen ist. Die Offenheit und Nachvollziehbarkeit werden als entscheidend angesehen, um das Vertrauen in die wissenschaftliche Forschung zu stärken.