Unter dem Leitthema „Innovating AI Evaluation: Beyond Accuracy and Precision“ („Neuartige KI-Evaluierung: Jenseits von Genauigkeit und Präzision“) findet die diesjährige SAIL Spring School im CITEC-Gebäude der Universität Bielefeld statt. Vom 26. bis 28. März diskutieren Forschende aus verschiedenen Disziplinen Methoden zur Bewertung von Künstlicher Intelligenz (KI). Während klassische Metriken wie Genauigkeit und Präzision nach wie vor eine Rolle spielen, geht es in der diesjährigen Spring School um weiterführende Ansätze wie ethische und gesellschaftliche Auswirkungen, interpretierbare KI, mathematische Garantien und Nutzer*innenbewertungen.
Internationale Expert*innen präsentieren ihre aktuellen Forschungsergebnisse in unterschiedlichen Tutorials. Mit dabei ist Juniorprofessor Dr. David Kappel von der Technischen Fakultät der Universität Bielefeld, der sich mit der Sicherheit von Machine-Learning-Systemen befasst. Neben Vorträgen und Workshops bietet die Veranstaltung eine Plattform für Wissenschaftler*innen in frühen Karrierephasen, um ihre Arbeiten in Form von Posterpräsentationen vorzustellen.
Eine der Bielefelder Wissenschaftler*innen, die hier in diesem Jahr ihre Forschung präsentiert, ist Clarissa Sabrina Arlinghaus. Ihre Arbeit beschäftigt sich mit sozialer Exklusion in der Mensch-Technik-Interaktion, insbesondere in hybriden Teams, in denen Menschen mit KI-Systemen oder Robotern zusammenarbeiten. In ihrer Posterpräsentation stellt sie eine innovative Methode zur LLM-gestützten Kodierung in der qualitativen Forschung vor. Hierbei hilft ein großes Sprachmodell (LLM) dabei, qualitative Daten (beispielsweise Interviews oder offene Antworten) automatisch zu sortieren und in Kategorien einzuteilen. Im Vergleich zur statistischen Auswertung von quantitativen Daten, die bereits in numerischer Form vorliegen, ist die qualitative Datenanalyse oft sehr zeitaufwendig. Im Kurzinterview gibt Clarissa Sabrina Arlinghaus einen Einblick in ihre Forschung und ihre Teilnahme an der Spring School.
Interview: „Unsere Ergebnisse zeigen deutlich, dass das Arbeiten mit technischen Systemen eben nicht genau das Gleiche ist wie das Arbeiten in menschlichen Teams“
Ihre Forschung untersucht soziale Exklusion in der Mensch-Technik-Interaktion. Was sind die wichtigsten Erkenntnisse aus Ihren bisherigen Studien, und welche Auswirkungen könnten diese auf den Arbeitsalltag in hybriden Teams haben?
Am wichtigsten finde ich die Erkenntnis, dass Mensch-Technik-Teams grundsätzlich den gleichen allgemeinen sozialen Regeln aus zwischenmenschlichen Beziehungen folgen, aber sich die Intensität unterscheidet. Beispielsweise fanden wir in unseren Studien zu Mensch-Roboter-Teams in der Gastronomie, dass Mitarbeitende allgemein beachtet werden wollen, aber die Aufmerksamkeit von menschlichen Kolleg*innen mehr geschätzt wird als die Aufmerksamkeit von Roboter-Kolleg*innen. Gleichzeitig empfanden die Testpersonen es auch als bedrohlicher, wenn sie von menschlichen Kolleg*innen ausgeschlossen werden, als wenn sie von Roboter-Kolleg*innen ausgeschlossen werden. In anderen Studien fanden wir außerdem, dass Testpersonen generell Mobbing am Arbeitsplatz ablehnen, aber die Verurteilung der Täter*innen sowie die Bereitschaft, bei Vorfällen einzuschreiten, bei menschlichen Mobbing-Betroffenen deutlich größer ist als bei einer gemobbten KI. Unsere Ergebnisse zeigen deutlich, dass das Arbeiten mit technischen Systemen eben nicht genau das Gleiche ist wie das Arbeiten in menschlichen Teams, auch wenn das oft gerne behauptet wird. Arbeit bleibt auch weiterhin ein zentraler Bestandteil von gesellschaftlicher Teilhabe. Angesichts der zunehmenden Technologisierung sollten in hybriden Teams insbesondere menschliche Kontakte am Arbeitsplatz fokussiert und priorisiert werden, da sie den größten Einfluss auf die Befriedigung und Bedrohungen sozialer Bedürfnisse haben. Nur so kann das psychologische Wohlbefinden der Mitarbeitenden langfristig aufrechterhalten und schwerwiegenden individuellen oder organisationalen Konsequenzen – wie zum Beispiel längere Ausfallzeiten aufgrund von Depressionen – präventiv entgegengewirkt werden.
Sie stellen auf der Spring School eine neue Methode zur LLM-gestützten Kodierung qualitativer Daten vor. Welche Herausforderungen gibt es in der qualitativen KI-Forschung, und wie kann Ihre Methode dazu beitragen, diese zu lösen?
Die Auswertung von qualitativen Daten war schon immer sehr aufwändig. Gleichzeitig liefern qualitative Daten oft wertvolle Erkenntnisse, die bei der Interpretation von quantitativen Daten ausgesprochen hilfreich sein können. Nach meiner persönlichen Einschätzung nimmt die Anzahl an Forschungsergebnissen, die sich sowohl auf quantitative Daten als auch auf qualitative Daten beziehen, stetig zu. Gleichzeitig hatte ich jedoch auch den Eindruck, dass die Auswertung qualitativer Daten oftmals eine große Herausforderung darstellt, die im Zweifelsfall dazu führt, dass qualitative Daten aus Kapazitätsgründen vernachlässigt werden und so potentielle Erkenntnisse verloren gehen. Mit unserer Methode zur LLM-gestützten Kodierung qualitativer Daten bieten wir eine Lösung für dieses Problem an. Mit der Methode können viele qualitative Daten in kurzer Zeit mit hoher Qualität zu induktiven Kategorien zusammengefasst werden. Man hat die Möglichkeit, Wiederholungen durchzuführen, verschiedene LLMS zu nutzen oder LLMs anzupassen und kann so mehr und auch robustere Lösungsvorschläge generieren als bei traditionellen Kodierverfahren. Damit unsere Methode auch für Personen ohne Programmierkenntnisse zur Verfügung steht, bieten wir Vorlagen und Anleitungen an. So ist die Methode auch ohne Vorerfahrung einfach anwendbar.
Als Doktorandin an der Universität Bielefeld forschen Sie in einem Umfeld mit starker interdisziplinärer Vernetzung. Welche Bedeutung hat die SAIL Spring School für Ihre wissenschaftliche Vernetzung und Weiterentwicklung?
Ich genieße den interdisziplinären Austausch und finde ihn auch sehr bereichernd. Man sieht, woran andere Forschende arbeiten und bekommt so Inspiration für eigene, neue Projekte. Manchmal ergeben sich auch interessante Kooperationsmöglichkeiten. Generell denke ich, dass es in der Wissenschaft wichtig ist, sich ein gutes Netzwerk aufzubauen. Events wie die SAIL Spring School können dafür hilfreich sein. Deshalb freue ich mich, daran teilzunehmen.
© Arlinghaus
