„Wir wollen die Grenzen des Algorithmus kennenlernen“

Was ist das Problem, mit dem Sie sich in Ihrer Forschung beschäftigen?

Robin Chan: Im Bereich des automatisierten Fahrens bedarf es einer Wahrnehmung der Umgebung, um sicher durch den Verkehr zu navigieren. Ein Problem ist, dass die meisten der verwendeten Algorithmen auf einer im Voraus festgelegten Menge von Klassen trainiert werden. Ein gängiger Datensatz für das automatisierte Fahren besteht aus 19 Klassen, zu denen zum Beispiel Straße, Auto und Fußgänger zählen. Wenn die Algorithmen in der realen Welt eingesetzt werden sollen, muss mit der Vielfalt der realen Welt umgegangen werden. 19 Klassen sind da nicht ausreichend. Aufgrund von der steigenden Modell-Komplexität und Anforderungen an Daten ist es jedoch schwierig, weitere Klassen hinzuzufügen.

Wie gehen Sie diese Herausforderung an?

Petra Bevandić: Mit meinem Projekt möchte ich so viele Datensätze wie möglich für das Training autonomer Fahrtechnologien nutzen. Ein Datensatz ist eine Sammlung von Bildern, die je nach Bedarf annotiert werden. Im Falle des Straßenverkehrs würde man Bilder von Verkehrsszenen annotieren – das heißt, es wird in den Bildern markiert, ob und wo die Objekte, wie zum Beispiel Straße, Autos oder Fußgänger, in der gezeigten Szene zu sehen sind. Aber selbst, wenn die Datensätze den gleichen Anwendungsbereich abdecken, kann es sein, dass jeder Datensatz eine andere Annotationsstrategie hat. Jemand schaut auf eine Straße und sieht eine Straße, ein Auto oder eine Pflanzenart. Ein anderer sieht in derselben Landschaft vielleicht Fenster, Türen oder Bäume – er hat einen anderen Fokus. Die Herausforderung besteht darin, diese verschiedenen Datensätze mit unterschiedlichem Fokus zu kombinieren. Manchmal werden unterschiedliche Klassifizierungen verwendet: „Straße“ versus „eigene Fahrspur“. Ich möchte Methoden entwickeln, um solche Bezeichnungen automatisch zu standardisieren, indem ich allgemeine Prinzipien wie wechselseitige Beziehungen verwende, und so die Datensätze für ein homogenes Training verfügbar zu machen.

Robin Chan: Wir wollen die Grenzen des Algorithmus kennen, ab wann er nicht mehr zuverlässig funktioniert. Im Bereich des automatisierten Fahrens könnte das ein Objekt sein, das anders aussieht oder ein Objekt, das er noch nie gesehen hat – ein semantisch neues Objekt. Wenn der Algorithmus es nicht kennt, sollte er nicht gezwungen sein, eine der 19 bekannten Klassen vorherzusagen, sondern in solchen Fällen eine Vorhersage ablehnen dürfen. Mein Projekt zielt darauf ab, einen neuen Ansatz zur semantischen Bildsegmentierung einzuführen, der sich auf die Unsicherheitsschätzung konzentriert. Wenn man an Autos in Deutschland denkt, sehen sie ganz anders aus als die in Asien oder Afrika. Außerdem können in verschiedenen Gegenden der Welt andere Objekte auf der Straße erscheinen, zum Beispiel unterschiedliche Tiere. Petras und meine Forschung beschäftigt sich mit diesen Unterschieden – zu erkennen, dass es etwas gibt, bei dem das Modell unsicher sein sollte. Letztendlich macht es die Systeme fähiger, mit unerwarteten Szenarien umzugehen.

Ihre Forschung in Bielefeld bezieht sich auf das automatisierte Fahren. Kann Ihre Arbeit auch auf andere Bereiche übertragen werden?

Robin Chan: Die Forschung wird durch die verfügbaren Datensätze bestimmt. Automatisiertes Fahren ist ein großer Bereich, dem viel Aufmerksamkeit geschenkt wird. Daher gibt es viele Daten, mit denen man forschen kann. Bilder von Straßen und Verkehr werden jeden Tag gemacht und sind leicht zugänglich. Ich habe auch schon mit Datensätzen gearbeitet, um die Position und Rotation von Satelliten anhand von Bilddaten zu bestimmen. Darauf kann die gleiche Technologie aus unserer Forschung angewandt werden, aber mit dem Ziel Roboter zu bauen, die Weltraummüll erkennen und beseitigen können. Weltraumbilder sind natürlich teurer.
 
Petra Bevandić: Natürlich gibt es eine Vielzahl von Bildern aus einer Vielzahl von Anwendungen, die in verschiedenen Bereichen eingesetzt werden können. Wenn ich an Multi-Datensatz-Training denke, denke ich an das Gesundheitswesen. Ein Krankenhaus hat Scans von Patienten und die Ärzt*innen sind an den Organen interessiert, die darauf zu sehen sind. Ein anderes Krankenhaus konzentriert sich auf die Knochen in den Scans. Wie kann man diese Datensätze mit unterschiedlichen Schwerpunkten kombinieren? Kann das in einem Datensatz enthaltene Wissen die Leistung unserer Modelle für den anderen Datensatz verbessern? Die Arbeit ist breiter angelegt als das automatisierte Fahren.

Was ist die Verbindung zwischen Ihren beiden Forschungsfeldern? Sie haben sich schon vor dem KI-Starter-Programm kennengelernt.

Petra Bevandić: Ich habe über die Erkennung von Ausreißern in KI-Algorithmen promoviert. Wie Robin schon sagte: Kann ein Netzwerk erkennen, dass ein Objekt nicht zu den 19 Klassen gehört, die es gelernt hat? Meine Herangehensweise an diese Frage bestand darin, synthetische Objekte in Bildern von Verkehrsszenen einzufügen. Dies führte zu einem Multi-Datensatz-Ansatz. Bei der Arbeit an einem Datensatz, der sich auf das Fahren auf der Straße konzentrierte, fragte ich mich, ob ich nicht noch weitere Datensätze mit anderen Schwerpunkten verwenden könnte, um die Leistung meines Modells für das Fahren auf der Straße zu verbessern. Robins frühere Forschungsgruppe hat ein Benchmark zur Ausreißererkennung eingerichtet, eine Art Wettbewerb für Forscher, und meine Gruppe nahm an diesem Wettbewerb teil.

Wie stehen Sie in Verbindung mit der DataNinja-Forschungsgruppe, die ebenfalls durch das KI-Starter-Programm finanziert wird und darauf abzielt, die KI robuster und zuverlässiger zu machen?

Robin Chan: In unserer Machine-Learning-Gruppe arbeiten wir eng mit den DataNinja-Doktorand*innen zusammen, die wir auch betreuen. Wir nehmen regelmäßig an DataNinja-Veranstaltungen teil, um in Kontakt zu bleiben. Das Ziel unserer gemeinsamen Forschung ist es, KI vertrauenswürdig zu machen. Dazu gehört auch, dass wir kommunizieren, woran wir arbeiten. Automatisiertes Fahren ist ein sozio-technisches System und hat Auswirkungen auf unser tägliches Leben. Nicht nur für Autoinsass*innen, sondern auch für Fußgänger*innen. Würden Sie bei einem heranfahrenden selbstfahrenden Auto die Straße überqueren wollen? Der Begriff KI wird oft missbraucht und mit dystopischen Dingen in Verbindung gebracht. Deshalb ist es wichtig, dass wir in der Lage sind zu kommunizieren, um das Vertrauen der Öffentlichkeit in diese Systeme zu stärken.

Wie gefällt Ihnen die Arbeit in Bielefeld?

Robin Chan: Das Umfeld am CITEC und in der Arbeitsgruppe macht den Unterschied. Es gibt so viele motivierte und sehr gute Doktoranden. Obwohl sie aus unterschiedlichen Bereichen kommen, sind sie immer für ein Gespräch offen und geben Anregungen, Input und gutes Feedback. Das motiviert. Man kommt nur auf neue Ideen, wenn man darüber spricht. In dieser Arbeitsgruppe hat man viele Gelegenheiten dazu. Das ist ein großer Produktivitätsfaktor.
 
Petra Bevandić: Um mich der Gruppe vorzustellen, habe ich eine Präsentation über meine Arbeit gehalten. Gleich danach kamen die Leute auf mich zu und gaben mir Feedback und Ideen, obwohl sie in einem anderen Bereich arbeiten. Es besteht ein echtes Interesse an der Arbeit der anderen und der aufrichtige Wunsch, zusammenzuarbeiten.