Unterschiedliche analytische Methoden haben einen starken Einfluss auf die Ergebnisse wissenschaftlicher Untersuchungen. Das zeigt die Studie eines internationalen Forschungsteams mit Beteiligung der Universität Bielefeld. In der Untersuchung, an der mehr als 300 Wissenschaftler*innen mitwirkten, wurden 174 unabhängige Analysen desselben Datensatzes verglichen. Die Ergebnisse zeigen, dass unterschiedliche Methoden zu stark variierenden Schlussfolgerungen führen können.
Die in BMC Biology veröffentlichte Studie zeigt, dass unterschiedliche Wissenschaftler*innen mit denselben Datensätzen zu teils stark abweichenden Ergebnissen kommen. Diese Erkenntnis verdeutlicht, dass analytische Entscheidungen erhebliche Auswirkungen auf wissenschaftliche Schlussfolgerungen haben können. „Unsere Arbeit zeigt, dass wissenschaftliche Analysen nicht nur von den zugrunde liegenden Daten abhängen, sondern auch von den Entscheidungen, die Forschende während der Analyse treffen“, erklärt Alfredo Sánchez-Tójar von der Fakultät für Biologie der Universität Bielefeld. „Das unterstreicht die Notwendigkeit transparenter Forschungspraktiken und verstärkter Replikationsstudien.“
© privat
Analyse offenbart drastische Ergebnisunterschiede
Die Analyse von 174 unabhängigen Forschungsgruppen ergab, dass verschiedene statistische Methoden und analytische Herangehensweisen zu erheblich variierenden Ergebnissen führen können. Diese Erkenntnisse werfen zentrale Fragen zur Reproduzierbarkeit und Reliabilität wissenschaftlicher Ergebnisse auf.
Die Ergebnisse haben weitreichende Bedeutung für die ökologische und evolutionäre Biologie und darüber hinaus. Forschende der Universität Bielefeld betonen die Bedeutung von Big-Team-Science und offenen Wissenschaftspraktiken, um Verzerrungen in wissenschaftlichen Ergebnissen zu minimieren. Die Studie bestätigt auch Erkenntnisse aus früheren Arbeiten der Universität zur Publikationsverzerrung in der Biologie und unterstreicht die Notwendigkeit struktureller Veränderungen in den wissenschaftlichen Anreizen.
Im Sonderforschungsbereich TRR 212 („NC³“), der auch von der Universität Bielefeld getragen wird, wird aktiv an Strategien gearbeitet, um die Reproduzierbarkeit und Zuverlässigkeit wissenschaftlicher Ergebnisse zu verbessern. Insbesondere das Teilprojekt D05 setzt sich für eine transparente Meta-Analyse und Schulungen für Wissenschaftler*innen in frühen Karrierephasen ein. Zudem sind mehrere Forschende der Universität Bielefeld Mitglieder der Gesellschaft für offene, verlässliche und transparente Ökologie und Evolutionsbiologie (SORTEE), die sich für nachhaltige Reformen in der Wissenschaft engagiert.
„Keine einzelne Analyse sollte als vollständige oder verlässliche Antwort auf eine Forschungsfrage angesehen werden.“, sagt Alfredo Sánchez-Tójar. „Deshalb ist die bewährte wissenschaftliche Praxis so wichtig, zu dokumentieren, mit welcher Methode die Daten bearbeitet wurden, um Transparenz der Ergebnisse zu sichern.“
Die Studie stößt bereits auf breite Resonanz in der wissenschaftlichen Gemeinschaft und wird als Meilenstein für eine reflektierte und transparente Forschungspraxis betrachtet.
Originalveröffentlichung
Elliot Gould, Hannah S. Fraser, Timothy H. Parker, Shinichi Nakagawa et al.: Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology. BMC Biology. https://doi.org/10.1186/s12915-024-02101-x, veröffentlicht am 6. Februar 2025.
