Große Teile des politischen Diskurses finden heute im Internet statt und werden damit durch die Logik der Online-Medien bestimmt: Bilder, Töne und Filme ergänzen Textbotschaften. Algorithmen spielen vorrangig solche Botschaften aus, die die meisten Reaktionen hervorrufen, und Werbung ist personalisiert. Von Mai bis September 2020 beschäftigte sich die interdisziplinäre Forschungsgruppe „Multimodale Rhetorik in der Online-Medienkommunikation“ am Zentrum für interdisziplinäre Forschung (ZiF) der Universität Bielefeld mit der Frage, wie sich diese Prozesse nachverfolgen und analysieren lassen. In ihrer Abschlusstagung fassen die Forschenden nun ihre Ergebnisse zusammen und diskutieren darüber mit internationalen Expert*innen und Nachwuchsforschenden. Die Tagung findet vom 28. August bis zum 6. September am ZiF statt. Auf dem Programm steht zudem eine öffentliche Podiumsdiskussion am 30. August.
„Es ist wichtig, erst einmal zu verstehen, wie der Online-Diskurs funktioniert – und dafür brauchen wir geeignete Werkzeuge zur Analyse“, erklärt die Linguistin Professorin Dr. Kay O’Halloran von der University of Liverpool (Großbritannien), die die ZiF-Forschungsgruppe gemeinsam mit dem Linguisten Professor Dr. John Bateman von der Universität Bremen und dem Kognitions- und Computerwissenschaftler Professor Dr. Mehul Bhatt von der Örebro University (Schweden) geleitet hat.
Sprachzentrierte Ansätze reichen nicht aus
„Bisherige Ansätze für solche Analysen waren überwiegend sprachzentriert“, sagt John Bateman. „Diese Ansätze verfügten nicht über solide Methoden, um die Bedeutungen herauszufiltern, die sich aus dem Zusammenspiel von Bildern, Videos und Sprache ergeben. Für die meisten sozialen Medien sind sie also nicht ausreichend.“
© University of Liverpool/Örebro University/Universität Bremen
Deshalb haben die Forschenden gemeinsam mit Kolleg*innen aus der Informatik, der Netzwerktheorie, der Politikwissenschaft und der Kommunikationswissenschaft passende Werkzeuge entwickelt. Ihre neuen Methoden nutzen sie zur multimodalen Analyse von Nachrichtenartikeln und anderen Medien sowie den Reaktionen auf diese Artikel in sozialen Medien, Blogs und auf anderen Websites. Als Fallstudien haben die Forschenden Nachrichtenberichte untersucht, die von bekannten Nachrichtenagenturen publiziert wurden.
„Unser Ansatz nutzt moderne KI-Methoden, um ein detailliertes Verständnis kleiner Stichproben von Medieninhalten zu ermöglichen und gleichzeitig eine Brücke zwischen solchen Analysen und traditionellen Big-Data-Analysen zu schlagen, bei denen typischerweise die Nuancen eines bestimmten Kontexts verloren gehen“, sagt Mehul Bhatt. Die neue Methodik sei von KI-Spezialisten entwickelt worden, die mit Forschenden aus den Sozial- und Geisteswissenschaften sowie mit Praktiker*innen aus dem Bereich Journalismus und Medien zusammenarbeiten, erklärt er.
Forschungsergebnisse weitergeben
Die Abschlusstagung der ZiF-Forschungsgruppe trägt den Titel „Institute on Multimodality: Minds, Media, Technology“ (Institut für Multimodalität: Köpfe, Medien, Technologie). Sie beginnt mit einer Sommerschule und einem Kolloquium für Nachwuchsforschende (28. August bis 2. September). Dabei werden Methoden und Werkzeuge zur Analyse multimodaler Interaktion aus der Sicht der künstlichen Intelligenz, der Kognitionswissenschaft und der Linguistik vorgestellt. Im Anschluss findet die Tagung der Forschungsgruppe statt, die neue Perspektiven auf die Analyse multimodaler Kommunikation entwickeln wird (5. und 6. September). „Es ist uns ein zentrales Anliegen, die von uns entwickelten Erkenntnisse und Methoden an Kolleg*innen aus anderen Disziplinen weiterzugeben und die nächsten Schritte zu formulieren“, so Kay O’Halloran.
Zum Programm gehört ebenfalls eine hochkarätig besetzte öffentliche Podiumsdiskussion zum Thema „Multimodal Rhetoric and Media Communications“ (Multimodale Rhetorik und Medienkommunikation) am 30. August um 17 Uhr. Dabei geht es darum, wie Medien Bilder, Texte, gesprochene Sprache, Filme und Musik kombinieren, um Menschen zu informieren oder auch zu beeinflussen. Weitere Themen sind die Möglichkeiten und Herausforderungen, die Künstliche Intelligenz und Maschinelles Lernen für die Medien bieten. Es diskutieren: Professorin Joanna Björklund PhD (Umeå University, Schweden), Professor Dr. Charles Forceville (University of Amsterdam, Niederlande), Dr. Inés Olza (Universität Navarra, Spanien) und Professor Barbara Tversky PhD (Stanford University, USA).
Das Zentrum für interdisziplinäre Forschung (ZiF) der Universität Bielefeld ist eine unabhängige, thematisch ungebundene Forschungseinrichtung und steht Wissenschaftler*innen aller Länder und aller Disziplinen offen. ZiF-Forschungsgruppen sind längerfristige, interdisziplinäre Projekte und stehen im Mittelpunkt der Arbeit des ZiF. Neben regelmäßigen Arbeitstreffen veranstalten die Forschungsgruppen Konferenzen, Workshops und Vorträge.
