Ein Team aus Forschenden der Universität Bielefeld und der LMU München hat ein neues Open-Source-Tool entwickelt: shapiq. Die Software erweitert bestehende Methoden der erklärbaren KI, indem sie nicht nur den Einfluss einzelner Merkmale, sondern auch deren gemeinsame Wechselwirkungen analysiert. Damit können komplexe Modelle wie neuronale Netze oder Entscheidungsbäume transparent gemacht werden – ein bedeutender Schritt für Vertrauen, Fairness und Optimierung in der Künstlichen Intelligenz. Die Transregio-318-Forschenden Maximilian Muschalik und Fabian Fumagalli stellen die Ergebnisse diese Woche auf der NeurIPS vor, der weltweit größten Konferenz für maschinelles Lernen.
Moderne Künstliche Intelligenz (KI) stützt sich auf Modelle, die oft als „Black-Boxen“ bezeichnet werden – ihre Entscheidungen sind für Nutzer*innen schwer nachvollziehbar. In sensiblen Bereichen wie Medizin, Finanzen oder autonomem Fahren ist es jedoch entscheidend zu verstehen, wie ein Modell zu seinen Ergebnissen kommt. Hier kommen die Shapley-Werte ins Spiel, eine Methode aus der Spieltheorie, die den Beitrag einzelner Merkmale misst.
© Stephan Höck, Mike-Dennis Müller
Komplexe Entscheidungen besser verstehen
Das Problem: Viele Entscheidungen werden nicht nur durch einzelne Merkmale, sondern durch deren Wechselwirkungen beeinflusst. Zum Beispiel können Merkmale wie „Breitengrad“ und „Längengrad“ nur gemeinsam eine genaue Ortsbestimmung ermöglichen. Um diese Komplexität zu erfassen, verwendet das Team des Teilprojekts C03 des Sonderforschungsbereichs/TRR 318 Shapley-Interaktionen – eine Erweiterung der klassischen Shapley-Werte. „Shapley Interactions erlauben es uns, über die rein isolierte Betrachtung von Merkmalen hinauszugehen und komplexe Zusammenhänge besser zu verstehen“, erklärt Maximilian Muschalik, Hauptautor des Projekts. „Mit shapiq liefern wir nicht nur einen Beitrag zur Grundlagenforschung, sondern schaffen auch eine praktische Lösung für Anwender*innen.“ Fabian Fumagalli, Autor und Experte auf diesem Gebiet, erklärt weiter: „Die Berechnung der Shapley Interactions ist ein aufwändiges Problem, für das spezielle Algorithmen erforderlich sind, die wir nun vorgestellt haben.“
Das Werkzeug: shapiq
Das Python-Paket shapiq wurde im TRR-Teilprojekt C03 speziell dafür entwickelt, die Forschung und Anwendung von Shapley-Werten und -Interaktionen zu vereinheitlichen und zu vereinfachen. Zu den zentralen Funktionen gehören:
1. Effiziente Berechnung: Trotz der hohen theoretischen Komplexität von Shapley Interactions bietet shapiq Algorithmen, die eine effiziente Berechnung ermöglichen – selbst bei großen Datensätzen und komplexen Modellen.
2. Visualisierung: Die Ergebnisse können anschaulich dargestellt werden, sodass auch Nicht-Expert*innen die Wechselwirkungen intuitiv verstehen können.
3. Benchmarking: Das Tool umfasst eine umfassende Benchmark-Suite mit elf realen Anwendungsfällen, die es Forschenden ermöglicht, die Leistung neuer Algorithmen systematisch zu bewerten.
4. Flexibilität: Von Entscheidungsbäumen (wie XGBoost) über neuronale Netzwerke bis hin zu modernen Sprachmodellen – shapiq ist für alle Modelltypen geeignet.
Das Werkzeug ist nicht nur ein Fortschritt für die Forschung, sondern bietet auch Praktiker*innen ein Instrument, um Modelle verständlicher zu machen und deren Anwendung sicherer zu gestalten.
Präsentation auf der NeurIPS-Konferenz
Die Ergebnisse des Projekts werden auf der Konferenz Neural Information Processing Systems NeurIPS 2024 in Vancouver (Kanada) vorgestellt. Interessierte können sich dort oder über das GitHub-Repository über die Anwendung und Möglichkeiten des Werkzeugs informieren. Dort finden Interessierte auch eine umfangreiche Dokumentation sowie Beispiele für den praktischen Einsatz.
Open-Source-Entwicklung
Nutzer*innen können die Forschung des Transregio-Teams direkt unterstützen, indem sie das GitHub-Repository mit einem Stern markieren oder das Team über Verbesserungsvorschläge direkt informieren. Da die Software Open Source entwickelt wird, können sich Anwender*innen auch direkt in die Implementierung einbringen.
Sonderforschungsbereich/Transregio 318
Das stark interdisziplinär ausgerichtete Forschungsprogramm mit dem Titel „Constructing Explainability“ („Erklärbarkeit konstruieren“) geht über die Frage nach Erklärbarkeit von KI als Grundlage algorithmischer Entscheidungsfindungen hinaus. Der Ansatz fördert die aktive Teilnahme der Menschen an soziotechnischen Systemen. Ziel ist es, die Mensch-Maschine-Interaktion zu verbessern, das Verständnis von Algorithmen in den Mittelpunkt zu stellen und dieses als Produkt eines multimodalen Erklärprozesses zu untersuchen. Die Deutsche Forschungsgemeinschaft (DFG) stellt dafür bis Dezember 2025 rund 14 Millionen Euro zur Verfügung.
