Um das aktuell verfügbare Wissen zu einem Gebiet verfügbar zu machen, fassen Wissenschaftler*innen Informationen aus mehreren Einzelstudien zusammen, zum Beispiel in Meta-Analyen oder Literaturübersichten. „Häufig findet dieser Prozess aber langsam und unkoordiniert statt und kann zu trügerischen Schlussfolgerungen führen“, sagt der Biologe Dr. Alfredo Sánchez-Tójar von der Universität Bielefeld. Gemeinsam mit Wissenschaftler*innen aus den USA, Australien und Südafrika präsentiert er das Konzept einer „Evidenzsynthese-Gemeinschaft“ in einem am gestrigen Montag (23.03.2020) erschienenen Artikel im Magazin „Nature Ecology and Evolution“.
Mit Evidenzsynthesen sind Zusammenführungen von Evidenzen (Erkenntnissen) aus der Forschung gemeint: Forschende überprüfen und integrieren dafür alle verfügbaren Artikel, um Forschungswissen zusammenzufassen und neue Hypothesen zu testen und zu generieren. „Der Prozess der Evidenzsynthese ist oft langsam und mühsam. Oft kommt es zu Verzerrungen, wenn nicht alle Studien verfügbar sind“, sagt Dr. Alfredo Sánchez-Tójar aus der Arbeitsgruppe Evolutionsbiologie. „Zudem veröffentlichen Wissenschaftler*innen nicht alle Daten. Diese erhobenen, aber nicht veröffentlichten Daten fließen dann nicht in eine Synthese-Studie ein. Dadurch arbeiten Forschende, die etwa Experimente zu einem Phänomen durchführen, und Synthese-Forschende lange an demselben Thema, ohne voneinander zu wissen.“
Sánchez-Tójar ist Postdoktorand im Sonderforschungsbereich „NC3“ der Universitäten Bielefeld, Münster und Jena, der die Teildisziplinen Verhaltensbiologie, Ökologie und Evolutionsbiologie verknüpft. In einer Synthese-Studie, die er 2018 durchführte, konnte er ein Lehrbuchbeispiel aus der Biologie widerlegen: Seit 1985 wurde davon ausgegangen, dass der soziale Rang derjenigen Spatzen höher ist, die ein größeres schwarzes Federlätzchen aufweisen. In einer Meta-Analyse rund 20 Jahre später wurde diese Annahme zunächst bestätigt. In der Studie von Sánchez-Tójar zehn Jahre später wurden zusätzlich unveröffentlichte Studien einbezogen und gezeigt, dass es zweifelhaft ist, ob das Lätzchen des Spatzens überhaupt eine Status-Bedeutung hat.
Zu wenig Kommunikation zwischen Forschenden
„Dieser Fall hatte keine schlechten gesellschaftlichen Auswirkungen, aber es gibt auch Synthese-Studien in der Medizin, die zu falschen Annahmen kommen. Wir finden immer mehr Beispiele dafür, dass Forschungsergebnisse in nachfolgenden Studien nicht mehr bestätigt werden können oder dass die Aussagekraft schwächer ist als in der ursprünglichen Studie“, sagt Sánchez-Tójar. „Zudem fehlen nicht nur Daten, sondern es werden auch systematische Überprüfungen wiederholt.“ Sánchez-Tójar sieht darin das Problem mangelnder Kommunikation zwischen den Forschenden.
In einer Gruppe interdisziplinärer Wissenschaftler*innen aus aller Welt entwickelte Sánchez-Tójar im April 2019 vier Tage beim „Evidence Synthesis Hackathon“ in Canberra, Australien, einen Vorschlag, wie Synthese-Studien besser durchgeführt werden können. Die Grundidee ist, Wissenschaftlerinnen, die mit Beobachtungen und Experimenten arbeiten (Empiriker*innen), mit den Forschenden zusammenzubringen, die Meta-Analysen durchführen (Synthesist*innen). „Wir wollen die Methode der Evidenzsynthese und insgesamt das Vorgehen der Wissenschaft verbessern und schlagen daher in unserem Artikel vor, eine Gemeinschaft aus Empiriker*innen und Synthesist*innen aufzubauen“, sagt Sánchez-Tójar. „Diese Zukunftsvision soll in allen Bereichen anwendbar sein und ist, wenn sie sich durchsetzt, revolutionär.“
Zukunftsvision einer offenen „Synthese-Gemeinschaft“
Sánchez-Tójar und die 21 anderen internationalen Autorinnen stellen sich ein neues Forschungssystem vor, in dem jede*r Empiriker*in als Teil einer weltweiten Gemeinschaft zur Evidenzsynthese beiträgt. Diese Gemeinschaft soll zum einen aus einer Gruppe von Forschenden bestehen, die sich mit eigenen Erhebungen oder der Synthese von Forschungsergebnissen befassen, aber zum anderen auch aus Bibliothekar*innen, Statistiker*innen und Computerprogrammierer*innen. „Wenn zum Beispiel eine Doktorandin die Auswirkungen der Entwaldung auf Insektengemeinschaften untersucht, führt sie Experimente durch, um Daten zu sammeln. In einem neuen Forschungssystem ist die Doktorandin auch in eine Synthesegemeinschaft eingebettet, die sich mit Entwaldung und verwandten Themen befasst“, sagt Sánchez-Tójar.
Diese Evidenzsynthese-Gemeinschaft soll nach Vorstellung der Forschenden durch digitale Werkzeuge unterstützt werden. „Die Synthese-Gemeinschaft soll alle Wissenschaftler*innen aus allen Labors, unabhängig von Ressourcen und Standorten, aufnehmen“, sagt Sánchez-Tójar. „Unser Ziel ist, dass Wissenschaftler*innen und die Öffentlichkeit auf die aktuellsten Beweise zu jedem Thema zugreifen und diese bewerten können.“ Über eine Online-Plattform sollen Forschende in Verbindung stehen und interessierte Laien frühen Einblick in laufende Forschung erhalten.
In order to render the currently available knowledge on a field accessible, scientists integrate information from several individual studies into, for example, meta-analyses or literature reviews. ‘However, this process is often slow and uncoordinated, and it can lead to false conclusions,’ says biologist Dr Alfredo Sánchez-Tójar from Bielefeld University. Together with scientists from the USA, Australia, and South Africa, he presents the concept of an ‘evidence synthesis community’ in an article published today (23.03.2020) in the journal ‘Nature Ecology and Evolution’.
Evidence syntheses refer to collections of evidence (findings) from research: researchers review and integrate all the available articles to summarize research knowledge and use it to test and generate new hypotheses. ‘The process of evidence synthesis is often slow and laborious, and if any of the studies that have been carried out are not available, this often leads to bias’ says Dr Alfredo Sánchez-Tójar from the Department of Evolutionary Biology. ‘In addition, scientists do not publish all the data they collect. These collected but unpublished data are then not included in a synthesis study. Also, researchers who carry out experiments on a phenomenon and researchers who perform syntheses can end up working on the same topic for a long time without knowing about each other.’
Sánchez-Tójar is a postdoctoral researcher in the Collaborative Research Centre ‘NC3’—a cooperation between three universities: Bielefeld, Münster, and Jena. NC3 links the sub-disciplines of behavioural biology, ecology, and evolutionary biology. In a synthesis study conducted in 2018, Sánchez-Tójar refuted a textbook example from biology: since 1985, it has been assumed that sparrows with a larger black feather bib have a higher social rank. A meta-analysis around 20 years later initially confirmed this assumption. However, a further ten years later, Sánchez-Tójar’s study included additional unpublished research. This synthesis then showed that it is doubtful whether the sparrow’s bib has any status-signalling significance at all.
Too little communication between researchers
‘This case did not have a negative impact on society, but there are also synthesis studies in medicine that lead to false assumptions. We are finding more and more examples of research results that cannot be confirmed in subsequent follow-up studies or in which the validity of their results is weaker than in the original study,’ says Sánchez-Tójar. ‘In addition, there is not only a lack of data, but systematic reviews are even repeated.’ Sánchez-Tójar sees this as a problematic lack of communication between researchers.
In April 2019, Sánchez-Tójar spent four days at the ‘Evidence Synthesis Hackathon’ in Canberra, Australia with a group of interdisciplinary scientists from all over the world. They developed a proposal on how synthesis studies could be conducted more effectively. The basic idea is to bring scientists engaged in observation and experimentation (empiricists) together with researchers who perform literature reviews and meta-analyses (synthesists). ‘Because we want to improve the method of evidence synthesis and the overall approach of science, our article proposes building a community of empiricists and synthesists,’ says Sánchez-Tójar. ‘This vision of the future should be applicable in all areas and, if accepted, it will be revolutionary’.
Future vision of an ‘open synthesis community’
Sánchez-Tójar and the twenty-one other international authors envision a new research system in which each empiricist contributes to evidence synthesis as part of a global community. This community should consist of not only a group of researchers engaged in their own research or in the synthesis of research results but also librarians, statisticians, and computer programmers. ‘For example, if a doctoral student is studying the effects of deforestation on insect communities, she will conduct experiments to collect data. In a new research system, the doctoral student will also be embedded in a synthesis community that is focusing on deforestation and related issues,’ says Sánchez-Tójar.
The researchers propose that this evidence synthesis community should be supported by digital tools. ‘The synthesis community should include all scientists from all laboratories, regardless of resources and location,’ says Sánchez-Tójar. ‘Our goal is for scientists and the general public to be able to access and evaluate the latest evidence on any topic’. An online platform should link together researchers and provide interested laypersons with early insight into ongoing research.
