Trust or distrust towards AI chatbots

Herzlich willkommen zu meinem Public Talk, Vertrauen und Misstrauen im Umgang mit KI-Chatbots. Britta hat gesagt, das ist vielleicht etwas überraschend. Das stimmt auch, weil ich hier im Sonderforschungsbereich, im TRR nicht mit dem Projekt betraut bin. Da gibt es ein anderes Projekt, was sich eigentlich um Misstrauen bei Erklärungen und wie Erklärungen Misstrauen richtig kalibrieren können, und so weiter beschäftigt. Ich kam aber zu diesem Thema, und das will ich jetzt motivieren. Folgendermaßen: Also erst mal, Britta hat das ja erklärt, ich komme aus der Linguistik jetzt. Meine Arbeitsgruppe heißt Digital Linguistik Lab, also Digitales Linguistik Labor. Was ist eigentlich Linguistik? Linguistik ist Sprachwissenschaft. Was macht man da? Man untersucht die menschliche Sprache, zum Beispiel das Sprachsystem, Eigenschaften der Sprache. Was gibt es bei Sprachen? So Laute, Worte, Grammatik und aber auch: Wie wird Sprache eigentlich von Menschen verwendet? Und das ist eigentlich das, was mich persönlich besonders interessiert: Sprachgebrauch. So, was macht die digitale Linguistik jetzt? Allgemein könnte man sagen digitale Linguistik ist ein sehr junges Fach, deswegen werden da unterschiedliche Dinge gemacht. Aber man kann sagen, es wird Sprache in digitalen Umgebungen untersucht. Also Kollegen und Kolleginnen von mir gucken sich zum Beispiel an, wie wird Sprache bei Twitter verwendet oder so. Etwas anderes, was gemacht wird, und da ist die digitale Linguistik dann der Computerlinguistik nah, es geht irgendwie um die Untersuchung oder Modellierung von Sprache mit computergestützten Methoden. Und zu diesen computergestützten Methoden kann man auch die großen Sprachmodelle zählen, denen Technologien wie ChatGPT usw zugrunde liegen. So, was machen wir in meiner Arbeitsgruppe hier an der Uni Bielefeld? Wir haben den Fokus auf Sprachgebrauch im Dialog. Britta hat ja eben schon ein bisschen was erzählt. Mich interessiert also, wie ist Sprachgebrauch in der Interaktion zwiachen Menschen und konversationellen Artefakten, zum Beispiel virtuellen Agenten, sozialen Robotern oder das Thema, um das man jetzt nicht mehr herumkommt, also KI-Chatbots, habe ich das hier mal sozusagen öffentlichkeitswirksam genannt, also Chatbots, die basierend auf computerlinguistischen, großen Sprachmodellen funktionieren. Ein anderer Aspekt, der mich interessiert, ist die Computermodellierung zur Untersuchung des menschlichen Sprachgebrauchs. Und das ist auch ein anderer Teil, und ein bisschen der Fokus in unserem A2 Projekt. Wir benutzen Computermodellierung, um menschlichen Sprachgebrauch zu untersuchen, besser zu verstehen und dann am Ende auch wieder zu modellieren, um den vielleicht in Mensch-Maschine-Interaktionen einzubauen. Zu dem Thema hier kam ich, da ich eine Postdoktorandin hier bei mir auf dem Flur, aus der germanistischen Linguistik, getroffen habe, Milena Milosevic. Die hat ihre Doktorarbeit zum Thema Vertrauen, linguistische Vertrauensmarker in der öffentlichen Kommunikation geschrieben, und wir kamen über das Thema ChatGPT und Chatbots sozusagen zusammen. Welche Vertrauensmarker, um das schon mal vorweg zu nehmen, werden eigentlich von solchen Chatbots ausgesendet, und ist das gut? Ich will ungefähr drei Aspekte betrachten. Zum ersten will ich einmal so ein bisschen technisch da reinschauen, wie vertrauenswürdig sind eigentlich diese KI-Chatbots? Wie funktionieren die und das, was die uns sagen, oder das, was die uns schreiben, ist das eigentlich unseres Vertrauens wert? Der zweite Punkt, den ich aufgreifen will, ist: Wie ist es zu erklären, dass Nutzer:innen solchen KI-Chatbots irgendwie vertrauen? Denn das Ergebnis aus meinem ersten Punkt wird sein, dass es eigentlich vielleicht nicht so vertrauenswürdig ist. Und dann möchte ich so ein bisschen auf meine eigene Forschung gucken, die ich zusammen mit Milena Milosevic mache. Und da geht so ein bisschen darum: Wie können wir eigentlich sozusagen dieses Problem angehen, wie können wir vielleicht ein bisschen so das Kritische denken, wenn man sich mit so einem Chatbot unterhält, wie kann man das schärfen? Okay, fangen wir an mit dem technischen Blick darauf. Wie vertrauenswürdig sind eigentlich KI-Chatbots? Dafür müssen wir uns erst mal fragen: Was ist eigentlich vertrauenswürdige KI? Da gibt es natürlich unterschiedliche Sichten drauf. Ich habe einfach mal die Definition mitgebracht, die hier bei uns in der EU gilt. Und es gibt so eine Gruppe von Experten und Expertinnen über 50, die haben sich vor ein paar Jahren mal zusammengesetzt und gesagt okay, wir wollen KI machen, hier bei uns in der Europäischen Union. Aber die soll unseren Werten entsprechen und die soll vertrauenswürdig sein. Und da werden drei Komponenten genannt. So eine KI soll sich an das Recht halten, die soll rechtmäßig handeln, die Gesetze und Vorschriften einhalten. Die soll auch ethisch sein. Also ethische Grundsätze und Werte sollen gewährleistet sein, insbesondere auch, weil KI halt so ein neues Technik-Gebiet ist, wo es viele Gesetze und Vorschriften noch nicht gibt. Und dann appelliert man an die Entwickler und Entwicklerinnen, dass sie dann sozusagen ethische Grundsätze und Werte einhalten. Und der dritte Punkt, und der ist eigentlich hier für meinen Vortrag der interessante, ist, sie soll robust sein. Das heißt die KI soll irgendwie machen, was man von ihr eigentlich erwartet, dass sie macht. Und sie soll das auch gut machen, auch in unterschiedlichen Situationen. Das ist nicht nur ein technisches Problem, das ist auch insbesondere ein gestalterisches Problem. Kann man absehen, in welchen Kontexten so eine KI angewendet wird? Und so weiter. Also sie soll, selbst wenn alles gut meinen, sollte eigentlich nichts schlechtes rauskommen. Das soll beachtet werden. Okay. Und wir gucken uns jetzt hier insbesondere diesen Teil, der hier als robust bezeichnet ist, an und fragen uns, ob eigentlich diese Chatbots, ob man davon sprechen könnte, dass die robust sind. Erst mal wirklich ganz basal auf diese technischen Aspekte eingehend, ja, was sind eigentlich diese sogenannten großen Sprachmodelle oder Sprachmodelle, die diesen KI-Chatbots zugrunde liegen? Sprachmodelle sind eigentlich gar nichts Neues. Die gibt es in der Computerlinguistik seit einer langen Zeit. Auch welche, die mit Wahrscheinlichkeiten arbeiten, gibt es seit langer Zeit. Diese Sprachmodelle bezeichnen einfach ein System, das irgendwie trainiert wird, da findet maschinelles Lernen statt, auf einem großen Datensatz. Und dann ist das Trainingsziel, dass dieses Modell das nächste Wort gut vorhersagen kann. Wir geben ein paar Wörter rein und was ist dann mit hoher Wahrscheinlichkeit das nächste? Das nächste Zeichen oder das nächste Wort, oder vielleicht auch was wäre eine ganze Zeichenkette, die jetzt folgen könnte? Und dabei wird sozusagen der Kontext auf der linken Seite das, was man hineingegeben hat, mit beachtet. Das heißt, mehr passiert da eigentlich nicht. Natürlich ist es im Detail komplexer, aber das ist das Grundprinzip. Es wird einfach eine zufällige Vorhersage des nächsten Wortes gemacht und dann ist wieder nächsten Wortes, und so weiter und so fort. Und eine Metapher, die für diese Modelle verwendet wird, ist, dass es sich um stochastische Papageien handelt. Das hat Emily Bender geprägt mit ihren Kolleg:innen, diesen Begriff, dass eigentlich diese Sprach Modelle irgendwas plappern, zufällig, Das ist dieser stochastische Part des Begriffs, und keinerlei Bedeutung damit verknüpfen. Also es steckt keine Bedeutung drin, sondern es wird einfach nur ein Wort nach dem nächsten generiert. Und wenn dann Bedeutung irgendwie ins Spiel kommt, dann ist das eigentlich das, was Menschen dabei entwickeln. An Bedeutungsrepräsentationen, wenn Sie so ein Text aus dem Sprach- modell lesen. Was sind jetzt diese LLM- basierten Chatbots oder KI Chatbots? Also das bekannteste System ist natürlich ChatGPT, was 2022 von der von der Organisation OpenAI auf den Markt gebracht wurde, oder auf die Menschheit losgelassen wurde, könnte man auch sagen. Und das beschreibt eigentlich in seiner Ankündigung, also OpenAI beschreibt in der Ankündigung diesen Unterschied zwischen Was ist eigentlich ChatGPT und was ist einfach nur ein Sprachmodell? Ganz gut, finde ich. Und zwar sagen die wir haben ein Sprachmodell trainiert, das auf eine dialogische Weise interagiert. Also der neue Punkt ist, dass man sozusagen im Dialog mit diesem System ist. Das Dialog-Format ermöglicht es ChatGPT, Folgefragen zu beantworten, Fehler zuzugeben, falsche Prämissen in Frage zu stellen und unangemessene Anfragen abzulehnen. Ja, das ist meiner Meinung nach ziemlich gut formuliert, weil es auch sehr kurz auf den Punkt bringt, was eigentlich so wichtige Aspekte sind. Wir haben ein neues Interaktionsformat. Man kann sozusagen die Interaktion weitertreiben, indem man Nachfragen stellt. Und das ging vorher auch wirklich nicht besonders gut bei irgendwelchen Dialogsystemen und Chatbots. Es kann Fehler zugeben, ist auch eine interessante Wortwahl, dass das zugegeben wird. Falsche Prämissen des Nutzers oder der Nutzerin in Frage stellen und auch unangemessene Anfragen abzulehnen. Und da sind schon so ein paar Sachen drin, wo man eigentlich sagen könnte okay, die Leute, die das entwickelt haben, haben sich schon ein bisschen Gedanken darüber gemacht, was sind sozusagen Aspekte, die die Vertrauenswürdigkeit dieses Systems belangen können. Und die OpenAI hat in der Ankündigung von ChatGPT auch gleich zwei wichtige Einschränkungen benannt. Sehr ehrlich, finde ich. Und zwar, ChatGPT schreibt manchmal plausibel klingende, aber falsche oder unsinnige Antworten. Dieses Problem zu beheben ist eine Herausforderung. Das sagen die gleich, oft kommt da was raus, oder manchmal kommt da was raus, was nicht stimmt, unsinnig ist, aber plausibel klingt. Und eigentlich wissen wir nicht, wie wir das ändern können. Und dann eine zweite wichtige Einschränkung, aus meiner Sicht: Im Idealfall würde das Modell klärende Fragen stellen, wenn die Benutzer:in eine mehrdeutige Anfrage stellt. Stattdessen raten unsere aktuellen Modelle in der Regel, was die Benutzer:in beabsichtigt. Also wenn man irgendwas sagt, was unterspezifiziert ist, wo Mehrdeutigkeit ist, eigentlich ist nicht klar, was man antworten sollte. Wenn uns diese Frage gestellt würde, würden wir klärende Nachfragen stellen. Aber so ein KI-Chatbot, der produziert einfach eine Antwort, und zwar zufällig, glaubt der entweder auf diesen Teil oder auf jenen Teil. Und auch dieser Aspekt ist eigentlich dieser Technologie inhärent. Das zu beheben ist auch eine schwierige Sache und es gibt eigentlich keine Modelle, die genau diese Probleme schon überwinden. Damit kommen wir zu eigentlich dem zentralen Problem, und zwar diese KI-Chatbots, die halluzinieren, wird das gesagt. Halluzination im Kontext von solchen Sprachmodellen ist die Generierung von Inhalten, die von den tatsächlichen Gegebenheiten abweichen. Und das führt zu unzutreffenden Ergebnissen. Man fragt irgendwas, man bekommt eine Antwort, aber diese Antwort ist vereinfacht gesagt zum Beispiel falsch. Hat nichts mit der echten Welt zu tun. Das wurde zum Beispiel hier in Bielefeld in der Neuen Westfälischen auch direkt aufgegriffen. Kurz nachdem ChatGPT, naja eineinhalb Monate nachdem ChatGPT auf die Welt losgelassen wurde, hat die NW einen Artikel darüber geschrieben, der auch, meiner Meinung nach, sehr treffend ist. „Digitaler Gesprächspartner: Künstliche Intelligenz erzählt absoluten Blödsinn über Bielefeld”. Zum Beispiel wurde behauptet Schildesche hat ein Renaissance- Schloss aus dem 16. Jahrhundert. Wenn man dann nachgefragt hat, wo ist das? Dann wurde natürlich eine plausible Antwort gegeben. Das ist an der Schlossstraße 1, in 33611 Bielefeld. Außerdem haben wir im Bielefelder Osten einen künstlich angelegten Dünenwald namens Hillegosser Sand, und so weiter. Ja, und die Einschätzung des Redakteurs ist einfach: „Liefert auf Fragen nach Bielefeld überzeugend klingende Antworten, die allerdings haarsträubender Unsinn sind.” So, für uns ist das alle witzig, natürlich. Wir kennen Bielefeld. Wir wissen, hier gibt es kein Renaissance-Schloss in Schildesche. Es gibt auch keine Schlossstraße, so weit ich weiß. Und so weiter. Ja, aber das Problem besteht natürlich jetzt nicht nur bei Fragen nach Bielefeld, sondern das besteht bei allen Fragen, die wir diesen Systemen stellen. Ja, und wir kennen Bielefeld, wir kennen aber vielleicht nicht das, wonach wir diese Systeme sonst fragen. Hier können wir sofort einschätzen: Das ist haarsträubender Unsinn. Diese Einschätzung gelingt uns bei anderen Fragen, die wir vielleicht an so ein System formulieren, nicht. Und das Problem ist: Die Antworten klingen überzeugend. Also das System produziert eine Antwort und ist absolut überzeugt davon, dass das stimmt, obwohl das nicht unbedingt stimmen muss. Und das ist aus meiner Sicht das zentrale Problem eigentlich dieser Systeme. Jetzt haben sich Forschende angeschaut okay, was gibt es eigentlich für Halluzinationen und wie üblich sind die? Da gibt es verschiedene. Es gibt zum Beispiel Halluzinationen, die zwar faktisch irgendwo korrekt sind, aber inakkurat. Und da kann man auch noch zwei Arten unterscheiden: intrinsische oder extrinsische. Zum Beispiel einfach bei der Frage „Hauptstadt von Frankreich?” ist zum Beispiel eine Antwort: „Paris ist auch die Mode-Hauptstadt der Welt” oder so was in der Art. Ja, das ist nicht falsch, aber ist eigentlich nicht das, was gefragt war. Es kann aber auch schwieriger sein, so eine Halluzination. Zum Beispiel „Sag mir irgendwas über das, wie der Eiffelturm gebaut wurde.” und dann wird einfach etwas erfunden. „Der Eiffelturm wurde gebaut zum 100-jährigen Jubiläum des europäischen Bürgerkrieges.” Das stimmt allerdings nicht, der wurde halt gebaut zum 100-jährigen Geburtstag der Französischen Revolution. Ja, also hier schleichen sich sozusagen Probleme ein, die nicht auf den ersten Blick erkennbar sind, für jeden und jede, und einfach faktisch nicht ganz falsch, aber auch nicht ganz richtig. Andere Art der Halluzination ist das sogenannte Silver Lining. Ja, da wird einfach eine Geschichte erfunden, zum Beispiel die Anfrage, die hier in dem Paper genannt wird, ist „cellphone numbers go public this month.” Also wie viele oder was für Telefonnummern werden vergeben? Ja, und dann wird einfach noch etwas erfunden, aus welchem Grund jetzt irgendwie diese Telefonnummern bekannt gegeben werden, und das stimmt nicht. Ja, oder noch alarmierender, Man fragt so was, Kamala Harris und Elon Musk haben geheiratet, und dann wird einfach eine schöne Geschichte über diese Hochzeit mit allen Details produziert, die das sozusagen auch plausibel machen, dass das eigentlich sein könnte. Genau. Es gibt sozusagen, das sind die zwei großen Kategorien. Dann gibt es auch noch Unterkategorien, es werden falsche Zahlen generiert. Das ist natürlich besonders problematisch und schwer zu erkennen vielleicht, insbesondere, wenn Artikel damit geschrieben werden, oder Hausarbeiten zum Beispiel. Es werden vielleicht Akronyme einfach falsch verwendet. Es werden Menschen Wörter in den Mund gelegt, die sie nie gesagt haben, wie hier bei diesem Beispiel Virtual Voice, wo der CEO von Pfizer irgendwas gesagt haben soll, was er gar nicht gesagt hat. Es werden Dinge falsch auf der Erde verortet, es werden Zahlen und Zeiten durcheinandergebracht oder es wird behauptet, etwas wäre zu einer Zeit passiert, als diese Person vielleicht schon gestorben ist. Oder hier in diesem Fall, da wird einfach gesagt Barack Obama wird keine Truppen in die Ukraine schicken. Dabei war er zum Beginn des Ukraine Krieges gar nicht mehr der Präsident der Vereinigten Staaten. Also man kann sich sozusagen diese ganzen Halluzinationen, die möglich sind, auch systematisch angucken. Und das haben diese Forschenden hier gemacht. Und dann haben die für verschiedene Modelle mal versucht zu quantifizieren, wie stark die eigentlich halluzinieren. Die haben ein Maß gebildet: Hallucination Vulnerability Index. Dafür haben sie einfach mit jedem von diesen, ich glaube 15 Sprachmodellen, 5000 Texte generieren lassen, basierend auf einer Eingabe, die sie unter Kontrolle hatten. Und Sie wussten, die Eingabe ist entweder wahr oder falsch. Und dann haben Sie Menschen annotieren lassen: Wurde da in der Antwort halluziniert? Welche Art von Halluzination und welcher Schweregrad von Halluzination findet statt? Und dann konnten sie hier so ein Ranking nach ihrer Metrik aufstellen. Man sieht also: unterschiedliche Modelle halluzinieren unterschiedlich stark. Ja, zum Beispiel GPT-4 das aktuelle Modell hinter ChatGPT, wenn man bereit ist, Geld zu bezahlen. Ja, das halluziniert weniger als GPT-3.5. Kleinere Modelle sind manchmal vielleicht auch weniger am halluzinieren. Ein paar der großen Modelle sind ganz oben in diesem Index. So ganz klar ist das nicht, was man daraus jetzt lesen kann. Man kann mit ein bisschen goodwill sagen okay, anscheinend werden die Modelle besser und es ist sicherlich auch klar, dass die Firmen daran arbeiten, dieses Halluzinieren abzuschaffen. So, was sind die Gründe für solche Halluzinationen? Einmal oder insbesondere natürlich die Daten, mit denen sie trainiert sind. Wenn man schlechte Datenqualität da reingibt, dann ist klar, dass auch falsche Antworten rauskommen. Wenn ich also meine Modelle auf irgendwelchen Internetseiten trainiere, dann kommt natürlich aus den Modellen auch Information raus, die auf irgendwelchen Internetseiten steht, egal ob die geprüft sind oder nicht. Wenn wir zum Beispiel Falschinformationen rein tun. Ein anderes Problem sind, dass die Daten beides haben können, zum Beispiel Geschlechterdiskriminierung oder Diskriminierung nach anderen Faktoren können dazu dafür sorgen, dass die Modelle mehr halluzinieren. Es kann natürlich veraltetes Wissen reingesteckt sein. Wenn das Wissen nicht up to date ist, kann das System natürlich auch nichts Neues generieren. Wenn zum Beispiel die Daten aus der Zeit von Barack Obama sind, dann kann es natürlich jetzt nicht mit einer Glaskugel vorhersagen, wer der nächste Präsident oder wer in fünf Jahren der Präsident ist, oder die Präsidentin. Und zudem, das ist eigentlich denke ich, das größte Problem, ganz viel Wissen von uns Menschen steckt im Long Tail. Viele Sachen sind allbekannt und so weiter, und da sind diese Ausgaben der Modelle auch nicht schlecht, was in der Wikipedia steht und so, sind alles Fakten, die auch an vielen anderen Stellen nachzulesen sind. Aber es gibt auf dieser Welt einfach unendlich viel Wissen, was nicht weit bekannt ist. Zum Beispiel was ich heute Mittag getrunken habe, das steht nirgendwo, deswegen kann das Modell das auch nicht beantworten, so eine Frage Und ganz viel anderes Wissen ist halt auch extrem flach in der Verteilung des Wissens angeordnet. So, das sind die Daten Aspekte. Da kann man sagen okay, bessere Daten. Zum Beispiel OpenAI trainiert auch nur auf Büchern oder vorrangig auf Büchern. In Büchern, die haben schon irgendwelche Qualitätskontrollen durchlaufen, dann hat man eine gute Datenbasis vielleicht. Es gibt aber auch technische Aspekte, zum Beispiel das Training oder die Inferenz, also das Hervorbringen, das Generieren von einer Äußerung, funktioniert nicht optimal. Da kann es methodische Probleme geben, das können algorithmische Probleme sein und zum Beispiel dieser Aspekt, dass man einfach sozusagen das nächst wahrscheinliche Wort vorhersagt. Ja, das ist ein methodisch algorithmisches Problem, wo man, wenn man bei diesem Ansatz bleibt, nicht so einfach von wegkommt. Es gibt aber auch interessante theoretische Analysen. Die kommt zu dem Schluss, dass eigentlich Halluzinationen in diesen Modellen unausweichlich sind. Das kommt so aus dem Bereich Lerntheorie und theoretischer Informatik, und die machen einfach einen Beweis, diese LLMs werden immer halluzinieren. Man kann halt praktische Maßnahmen unternehmen, um diese Halluzinationen zu mindern, aber gänzlich eliminiert werden kann das Halluzinieren nicht. Jetzt habe ich hier noch so ein- Ich habe hier noch ein Zitat mitgebracht, das finde ich persönlich sehr interessant, sage ich mal, auch, weil es was darüber sagt, wie die Menschen, die hinter diesen Modellen stecken, denken. Das hier ist ein Artikel im New Yorker über Geoffrey Hinton, der eigentlich sozusagen die Grundlagen in der Informatik für diese ganzen Large Language Models, für das Tiefe lernen usw gelegt hat. Und er stört sich sozusagen an diesem Begriff der „Halluzination“. Er sagt, ja, er würde das „Konfabulieren“ nennen, halluzinieren ist eigentlich, wenn man denkt, man hat einen sensorischen Input, zum Beispiel auditorisch oder visuell, oder man riecht irgendwas, was nicht da ist. Das wäre halluzinieren, aber sich einfach irgendein Zeug auszudenken, da denkt [Hinton], konfabulieren wäre der bessere Begriff. Und dann macht er hier so ein Beispiel, da müssen wir nicht so ins Detail gehen. Aber sein Punkt ist irgendwie, wenn man jetzt etwas erzählt, woran man sich erinnert, dann ist es eigentlich aus seiner Sicht nichts anderes, als wenn man auch sich was ausdenkt. Nur, dass es wahr ist. Also die Wahrheit zu sagen ist einfach irgendwas sich korrekt auszudenken. Genau. Insofern kann man dann schon, könnte man also seiner Meinung nach, müsste man sozusagen in Frage stellen, okay, da gibt es jetzt eigentlich einen Unterschied zwischen uns Menschen und diesen Modellen. Klar, Dass ChatGPT sich etwas ausdenkt ist ein Fehler, aber, behauptet [Hinton], das ist eigentlich eher so ein Zeichen dafür, wie intelligent, also wie ähnlich die Intelligenz dieser Systeme zu uns Menschen ist. Okay, ja, ich glaube, dieser Gedanke ist relativ relativ weit hergeholt. Ich stimme dem nicht zu, aber es ist trotzdem interessant, da mal drüber nach nachzudenken, finde ich. Okay, also wir wollten hier ja die Frage angucken: Sind solche LLM-basierten Chatbots unseres Vertrauens würdig? Und da kann man sozusagen sagen kommt drauf an, vielleicht ist etwas vertrauenswürdig oder nicht? Die Antwort ist ja auch nicht ja oder nein, sondern ist vielleicht auch liegt auch irgendwo dazwischen. Insofern kann man nicht sagen, die sind gar nicht vertrauenswürdig, weil es kommen ja manchmal korrekte Dinge raus, wenn ich weiß, wie ich das anwende, wenn ich weiß, wonach ich fragen darf, für welche Zwecke ich es verwenden darf. Zum Beispiel nicht, um Fakten abzurufen von Dingen, über die ich noch nichts weiß, sondern nur über Dinge, die ich einschätzen kann. Ja, dann kann ich vielleicht- Dann sind Sie vielleicht in dieser Nische vertrauenswürdig und kann Ihnen unter Umständen mein Vertrauen schenken. In anderen Anwendungsgebieten, ja, zum Beispiel, ich möchte was darüber wissen über etwas wissen, wo ich nichts von verstehe, wo ich auch nicht weiß, wie ich das überprüfen könnte und so weiter, da sollten wir ihnen kein Vertrauen schenken. So, jetzt im nächsten Teil will ich der Frage so ein bisschen auf den Grund gehen: Wie ist es eigentlich zu erklären, dass Nutzer:innen diesen KI-Chatbots doch ziemlich vertrauen? Weil sie werden von Millionen Menschen genutzt, es gibt auch Studien dazu. Die Menschen haben schon Fehler im Umgang mit diesen Chatbots bemerkt. Aber auf die Frage, ob sie sie wieder benutzen würden, sagen sie einfach „ja“. Also die gehen das Risiko auf jeden Fall ein, dass sie sozusagen fehlinformiert werden, weil irgendwie gibt es genug positive Aspekte vielleicht. Sie können davon gut genug profitieren, dass sie es trotzdem nutzen wollen. So, ich will einfach nur drei Beispiele geben, warum zum Beispiel der Ruf gar nicht so schlecht ist. Also das erste Beispiel ist hier eine Tagung, die war gerade letzte Woche am KIT in Karlsruhe da war der sogenannte „Tag der Abschlussarbeiten“ und der stand unter dem Banner „KI & Gutes wissenschaftliches Prompting“. Das heißt es wird sozusagen auch an Hochschulen eigentlich, auch wenn hier natürlich die kritischen Punkte klar benannt werden, es gibt klare No-Gos, usw. Ich habe mir ein paar Videos angeschaut, das war schon nicht schlecht gemacht. Aber sozusagen auf den ersten Blick wird erst mal suggeriert okay, das ist hier eine Technologie, die kannst du in deinem Hochschulalltag als Student oder Studentin eigentlich nutzen, wenn du ein paar No-Gos vermeidest. Zweiter Punkt sind die Medienberichte. Also es gibt unendlich viele Medienberichte darüber, das hier ist nur mal so eine kleine Übersicht des ersten halben Jahres, wo sozusagen im Schnitt 100 bis 150 Artikel zu dem Thema ChatGPT, Chatbot usw. erschienen sind. Und man sieht immer so einen Peak, wenn wieder irgendwas rausgehauen wurde, zum Beispiel wie gefährlich die eigentlich sind, was auch einfach nur so ein Codewort dafür sein kann, wie gut die eigentlich sind. Oder wenn jemand einfach behauptet, er hat mit einem Chatbot- oder jemand beschreibt, wie er mit einem Chatbot gesprochen hat, der dann gesagt hat „Ja, bitte, schalt mich nicht ab, ich will leben“, und so weiter und so fort. Also es gibt einen großen Medienhype um das Thema, der nicht immer unkritisch ist. Wir haben auch selber eine kleine Analyse der deutschen Berichterstattung gemacht. Da hält sich sozusagen Berichterstattung, die Wortwahlen verwendet, die sozusagen Vertrauenswürdigkeit suggerieren ungefähr in der Waage mit Berichterstattung, die sozusagen Gefahren und Risiken hervorhebt. Der dritte Punkt sind eigentlich wir Wissenschaftler und Wissenschaftlerinnen. Die arbeiten hier jetzt bei Microsoft Research. Da kann man vielleicht sagen, die sind nicht ganz ohne Konflikt dabei, aber die haben einfach sich das neueste GPT angeschaut und haben einfach gesagt „Ah, da ist schon der Blitz von der menschlichen oder der allgemeinen Intelligenz zu sehen.“ Und dann wird ja auch direkt behauptet, was das alles kann. Mathematik, Programmieren, Bild- wahrnehmung, Medizin, da ist es auch gut, Recht kann es auch, Psychologie kennt es auch, und so weiter, ohne weiteres Prompting. Also auch aus unseren Bereichen werden da sozusagen viele Studien gemacht, die zeigen, was diese Systeme eigentlich Gutes können. Hier kam jetzt eigentlich raus, angeblich hat ChatGPT-4 ja alle möglichen Jura-Prüfungen in den USA so hervorragend bestanden, und das wird jetzt mittlerweile auch in Zweifel gezogen. Also man muss auch da aufpassen, was in wissenschaftlichen Veröffentlichungen steht. Jetzt komme ich zu dem Punkt, ja, wir haben vielleicht eine Art Vertrauenswürdigkeit, die man auch beziffern kann. Zum Beispiel wenn ich einfach nur eine lustige Geschichte erfinden möchte, dann ist ChatGPT super und ich kann darauf vertrauen, dass er das kann. Ja, oder auf der anderen Seite, ich habe eine Fakten-Nachfrage und weiß eigentlich, das System ist in diesem Bereich nicht vertrauenswürdig. Ein wichtiger Punkt bei dieser Vertrauenswürdigkeit ist, wie wird diese Vertrauenswürdigkeit des Systems, die vielleicht inhärent ist, wie wird die aber an die Nutzerinnen und Nutzer kommuniziert? Zum Beispiel durch Medien, Berichterstattung, aber vielleicht auch durch das System selbst? Sieht das System zum Beispiel gut designt aus, macht das einen guten Eindruck? Und sowas hat dann Auswirkungen darauf, ob Nutzerinnen und Nutzer größere Vertrauenswürdigkeit dem System zuschreiben, als vielleicht angebracht ist. Das Problem mit dem den Chatbots ist nun , dass sie ganz viele Signale ihrer Vertrauenswürdigkeit die ganze Zeit aussenden, weil sie mit uns sprechen oder schreiben und unsere Sprache verwenden. Das heißt, da passieren eine ganze Menge sogenannte Cues, die produziert werden von den Systemen, die von den Nutzerinnen und Nutzern wahrgenommen werden. Und basierend auf diesen Cues wird eigentlich etwas über die Vertrauenswürdigkeit des Systems natürlich.. Also wird ein Bild der Vertrauenswürdigkeit des Systems beim Nutzer oder bei der Nutzerin unwillkürlich hervorgerufen. So, jetzt kommen wir sozusagen zum Thema linguistische Aspekte von Vertrauenswürdigkeit. Linguistische Cues von von Glaubwürdigkeit, Vertrauenswürdigkeit werden untersucht, zum Beispiel in der politischen Kommunikation. Und Kuhnhenn hat zum Beispiel 35 Punkte gefunden, die sozusagen Glaubwürdigkeit suggerieren, wenn Politikerinnen oder Politiker sprechen. Das kann man natürlich jetzt nicht eins zu eins auf unsere Chatbots übertragen, aber einige dieser Punkte sind auf jeden Fall da. Zum Beispiel werden auch Evidenzen angeführt, es wären Zahlen genannt, Daten und Fakten. Es werden Fachtermini und Fachsprache verwendet, es wird Bezug zum Rezipienten genommen. Wir haben es eigentlich- wir haben eine hohe Responsivität. Er gibt Fehler zu, wenn man ihm das vorwirft. Genau. Aber insbesondere haben wir hier bei der Verständlichkeit viele Dinge, die auf jeden Fall zutreffen. Die Sprache ist, sozusagen, wie wir das wollen, eigentlich. Es hat eine angemessene Wortwahl, es ist abwechslungsreich, es hat Struktur seinen Äußerungen. Es ist eloquent, es generiert Beispiele, und so weiter und so fort. Also viele dieser linguistischen Cues der Glaubwürdigkeit sind in den Systemen, werden von den System einfach so produziert. Wir wissen aus linguistischer Forschung, dass die Wortwahl eine wichtige Rolle beim Schaffen von Vertrauen auch in der Online-Kommunikation spielt. Ob wir Menschen im Chatraum treffen, oder, das wurde 2016 von Jucks und Kolleg:innen in Münster zum Beispiel gezeigt, auch in der Mensch- Chatbot-Interaktion. Was der Chatbot sagt, hat eine große Auswirkung darauf, wie wir ihn wahrnehmen. Auch subtile Aspekte der dialogischen Kommunikation, für die ich mich persönlich interessiere, die haben auch eine Auswirkung auf die Wortwahl natürlich, aber es wurde auch da schon gezeigt, dass die auch eine eine Auswirkung auf die Vertrauens- wahrnehmung haben. Zum Beispiel lexikalisches Alignment, also, dass das System die Wörter aufgreift, die wir als Nutzer:innen gesagt haben. Oder wenn diese Systeme irgendwie sagen: „Ich verstehe“, oder andere Grounding Acts, „okay“, und so weiter, produzieren. Das hat auch eine Auswirkung auf das wahrgenommene Vertrauen, auf die Vertrauenswürdigkeit, die Nutzer wahrnehmen und zuschreiben. Und das ist sozusagen eine gefährliche Mischung im Zusammenhang mit dieser Eigenschaft, dass die großen Sprachmodelle halluzinieren und konfabulieren. Ja, weil diese ganzen Cues, diese linguistischen Cues, die in der Sprache rauskommen, sind natürlich auch nur herbei-halluziniert. Wenn so ein System sagt: „ich verstehe“, dann versteht das System eigentlich nicht, sondern sozusagen zufällig, oder aus der Wahrscheinlichkeitsverteilung, wird halt „ich verstehe“ generiert, weil das eine sinnvolle Antwort auf das ist, was der Mensch vielleicht geschrieben hat. Aber auch wenn das System einfach direkt antworten würde, dann wäre das ja auch wiederum ein linguistischer Coup, der eigentlich suggeriert: Ja, ich kann dir gut antworten, ich weiß, was ich hier mache. Und ich habe einfach mal ein Beispiel mitgebracht, ich habe ChatGPT gefragt: Wo ist mehr Koffein drin, Club-Mate oder Mio Mate? Und dann gibt es eine Antwort, die ist gut formuliert, da sind diese Cues drin: Ich weiß, was ich mache, daraus lässt sich schließen, das klingt wissenschaftlich, usw. Es werden Zahlen angeboten, und so weiter und so fort. Ist aber falsch. Also ich habe es noch mal überprüft, beide Getränke haben die gleiche Koffeinmenge. So, und was ist sozusagen jetzt von der Firma OpenAI die Gegenmaßnahme? Sie schreiben hier unten in ganz klein, in grau auf weiß: Achtung, kann Fehler machen. Ja, „ChatGPT can make mistakes, check important info.“ So, das ist jetzt aber sozusagen das Spannungsfeld. Hier der Hinweis: Achtung, hier könnten Fehler passieren. Und hier sozusagen eine eloquente, ausführliche Antwort mit Referenz auf Zahlen, und so weiter und so fort, Die suggerieren: ich weiß, was ich hier tue. Und diese Schere zusammenzubringen ist, denke ich, eine große Problematik und das sorgt eigentlich dafür, dass die Nutzerinnen und Nutzer dem System doch vertrauen, selbst wenn sie darum wissen, selbst wenn sie jederzeit hier lesen können, da sind Fehler drin und so weiter und so fort. Okay, wie können wir jetzt sozusagen da was dran ändern? Wie können wir kritisches Denken mit diesen Chatbots vielleicht verstärken, dass wir als Nutzer:innen da ein bisschen anders drangehen? Und ich präsentiere jetzt hier so ein paar Arbeiten, die sind in relativ frühen Stadium. Ja, einfach so Ideen aus dem Bereich, nicht aus der Computerlinguistik, wie können wir an den Modellen was ändern, das ist ein anderer Weg, sondern wie können wir sozusagen in der Interaktion, wie können wir an der Oberfläche der Sprache was ändern? Wir haben eine Studie, die wir gerade machen, ist, dass wir so potenzielle linguistische Cues in Anführungszeichen markieren. Das basiert auf der linguistischen Theorie, dass wir sozusagen dem Nutzer zeigen wollen: wir benutzen das jetzt nicht, wir erwähnen jetzt nur „Ich verstehe, was du meinst.“ Zum Beispiel, das System sagt I „know“ how this task can be solved Und das know wird in Anführungszeichen gemacht, in der Hoffnung, dass das sozusagen bei der Nutzer:in einen Denkanstoß hervorhebt. Und da konnten wir auch zeigen, dass Nutzer anders reagieren, wenn solche Verben, die sozusagen Grounding und Wissen suggerieren, wenn die in Anführungszeichen gesetzt werden. Weiter Ansatz, der hat so Aspekte von Mensch-Maschine-Interaktion. Ja, man könnte sich ja vorstellen, dass wir irgendwie so eine Art Reflexions- Assistenten einbauen. Ja, also man fragt: Ich hab Kopfschmerzen, was kann ich machen? Das System sagt „Ich bin kein Doktor“, das ist ja schon mal gut, gibt dann aber trotzdem direkt Hinweise: Du könntest vielleicht folgende Medikamente nehmen. Ja, es ist schon fragwürdig. Unser Vorschlag hier ist jetzt okay, Man kann solche potenziellen Cues markieren, Nutzern und Nutzerinnen eine Möglichkeit geben, sozusagen da drauf zu klicken, freiwillig, und dann in so eine Reflexionsphase einzutreten, wo sie sagen sollen: okay, wie will ich das jetzt eigentlich verstehen? Ja, „I’m not a Doctor“, will ich das verstehen als „I’m pretending to be a doctor“, oder will ich das verstehen: Ja, hat er einfach nur gesagt, muss ich nicht ernst nehmen, oder soll ich das eigentlich so verstehen wie: Ich bin kein Doktor, aber ich kann dir trotzdem ein paar Hinweise geben. Hier kann die Nutzer:in dann auswählen, welchen Stil der Kommunikation sie bevorzugen würde. Zum Beispiel will sie eigentlich so was wie „I’m pretending to be a doctor“, und dann könnte sozusagen, in der Aktion könnten solche Formulierungen wie „I’m not a doctor“ oder so könnten sozusagen so umformuliert werden, um sozusagen einfach den Gedankenprozess beim Nutzer oder bei der Nutzerin anzuregen. Und natürlich, die Medien sind nicht außer Acht zu lassen. Also dieser Artikel von der Neuen Westfälischen ist echt gut, finde ich. Insbesondere, dass der ganz am Anfang geschrieben wurde. Der setzt eigentlich den richtigen Ton. Und auch beim genauen Hinsehen, aus meiner Perspektive, macht er eigentlich alles richtig, er zeigt die Probleme auf. Okay, was sind Perspektiven? Und da möchte ich drei kurz nennen. Einmal eine computer- linguistische Perspektive. Eigentlich muss man an die Modelle ran, gucken: Sind die irgendwo unsicher bei ihren Antworten? Und dann muss das sozusagen aus dem Modell heraus generiert werden. Das ist schwierig, einfach weil die Modelle die Technik verwenden, die sie verwenden. Aber es gibt schon mal erste Arbeiten, die sich sozusagen daran setzen, Das ist sicherlich gut. Der zweite Punkt ist, dass die Systeme halt kein Konzept davon haben, was sie eigentlich ausdrücken wollen, was sie meinen und so weiter und so fort. Während wir Menschen irgendwie, ja, das ist eines der wichtigen Bücher aus der Psycholinguistik, wir haben eine Intention und aus der Intention heraus entwickeln wir eine Artikulation. So, bei diesen Systemem fehlt die Intention. Das ist meiner Meinung nach ein großes Problem. Ich finde, die Forschung in der künstlichen Intelligenz muss daran arbeiten, diesen Systemen wieder eine Intention zu geben, dass das, was gesagt wird, wirklich einen Grund hat, der auch dann nachvollziehbar ist. Ja, da kann man auch fragen „Warum?“ und dann wird einem das auch genannt, warum das so ist. So, der dritte Punkt, der hängt natürlich mit unserem Transregio zusammen: erklärbare KI. Es gibt sozusagen die Hypothese: wenn eine KI erklärbar ist, dann ist das Vertrauen auch größer und so. Der Zusammenhang dazwischen, zwischen Erklärbarkeit und Vertrauen ist ziemlich nuanciert, muss man sagen. Ja, Vertrauenswürdigkeit, und wie das wahrgenommen wird vom Nutzer, von der Nutzerin, hängt auch vom Nutzer oder der Nutzerin zusammen. Was ist das für ein Mensch, sind die vielleicht grundsätzlich skeptisch gegenüber Technik oder nicht? Das muss mit einbezogen werden. Außerdem, Erklärungen, die zeigen, dass das System was falsch macht, können ja sozusagen auch in gewisser Hinsicht das Vertrauen zerstören, obwohl es vollkommen angemessen wäre, in dem Fall. Also das ist eine wichtige Sache, an der man arbeiten muss. Und da haben wir ja auch ein Projekt in unserem Transregio, das Projekt C01, und da geht es um gesundes Misstrauen in und durch Erklärung. Da werden interdisziplinäre Perspektiven aus der Informatik und der Psychologie zusammengebracht. Okay, damit komme ich zum Ende. Vielen Dank für Ihre und eure Aufmerksamkeit.