Im Gespräch mit Matthias Peissner vom Fraunhofer IAO

Matthias Peissner, Institutsdirektor und Projektleiter des KI-Fortschrittszentrums Lernende Systeme beim Fraunhofer IAO, erklärt, was Explainable AI bringt.

com! professional: Herr Peissner, was genau soll mit Explainable AI erreicht werden?

Peissner: Explainable KI versucht, die Vorgänge in einem KI-Modell, die in einer Art Blackbox ablaufen, für Menschen nachvollziehbar zu machen. Das KI-System soll erklären, wie es zu seinen Ergebnissen kommt. Gerade bei tiefen neuronalen Netzen ist es für Menschen extrem schwierig, nachzuvollziehen, wie das System aufgrund eines bestimmten Daten-Inputs zu einer Empfehlung oder Lösung kommt.

com! professional: Das lässt sich dann zum Beispiel nutzen, um Fehler zu erkennen?

Peissner: Ja. In einem bekannten Beispiel sollte ein KI-System Wölfe von Hunden auf Bildern unterscheiden. Das System wurde anhand der Bilddaten trainiert und produzierte eine relativ gute Trefferquote. Dann stellten die KI-Experten allerdings fest, dass für die Erkennung nicht visuelle Merkmale der abgebildeten Tiere verwendet wurden, sondern der Bildhintergrund. Das System nutzte zur Trennung der Wolfs- von den Hundebildern das Hintergrundmerkmal Schnee. Dass auf den Wolfsbildern im Hintergrund immer Schnee zu sehen war, war reiner Zufall.

com! professional: Warum ist Explainable AI für praktische Anwendungen in der Wirtschaft wichtig?

Peissner: Für Unternehmen ist erklärbare KI in zweierlei Hinsicht wichtig. Zum einen gibt es in der Industrie einen großen Bedarf, Systeme nachvollziehbar zu haben. Man darf heute gar keine Systeme einführen, von denen man nicht weiß, wie sie funktionieren und wie sie in verschiedenen Situationen reagieren werden. Hier spielt auch das Thema Zertifizierung eine große Rolle. Tatsächlich wird die Zertifizierung von KI-Systemen erst durch Explainable-AI-Ansätze möglich. Und natürlich will auch niemand Blackboxes in seinem Unternehmen einführen.

com! professional: Und der zweite Beweggrund?

Peissner: Die zweite Motivation ist, dass KI-Systeme ihr volles Potenzial in der Regel erst in der Interaktion mit Menschen entfalten. KI-Systeme brauchen den Menschen, um die Algorithmen zu überwachen, zu validieren und zu verbessern. Auch im laufenden Betrieb muss immer mal wieder ein Mensch darauf schauen, dass das System in die richtige Richtung läuft.

Diese Interaktion mit Menschen erfordert, dass man Menschen verständlich macht, was da hinter der Fassade abläuft. Auch in der Mensch-Roboter-Interaktion ist es wichtig, dass das Verhalten und die Prozesse, die in den KI-Systemen ablaufen, für den Menschen nachvollziehbar sind.

com! professional: Welche Ansätze gibt es, um ML-Modelle und neuronale Netze erklärbar und durchsichtiger zu machen?

Peissner: In erster Linie sind das Visualisierungsansätze. Wir stellen zum Beispiel eine grafische Oberfläche bereit, auf der die tiefen neuronalen Netze visuell dargestellt werden. Der Nutzer kann dann sehen, welchen Beitrag die einzelnen Knoten für den Output liefern. So gibt man den Anwendern die Möglichkeit, die Modelle zu explorieren und in die Algorithmen reinzugehen, um zu verstehen, wie die einzelnen Schichten des Netzwerks aussehen. Auf diese Weise lassen sich die Modelle besser verstehen. Zum Beispiel kann man so feststellen, welche Aspekte bei der automatischen Erkennung bestimmter Bildmerkmale ausschlaggebend waren.

com! professional: Das ist eine sehr technische Sichtweise, die Anwender vielleicht gar nicht interessiert.

Peissner: Natürlich kann man die Erklärbarkeit auch weiter fassen und nicht nur die technische Sicht einnehmen. Sie können sich beispielsweise die Interaktion zwischen Mensch und Roboter anschauen. Oder die Interaktion zwischen Mensch und Sprachdialogsystem. Explainable AI könnte dann so weit gehen, dass Ihnen das Dialogsystem mitteilt, welche Absicht des Menschen es hinter einer Äußerung erkannt hat. Oder dass das System Ihnen Hinweise gibt, was es als Nächstes zu tun gedenkt. Das wären Aspekte des Interaktionsverhaltens.

com! professional: Haben Sie da ein praktisches Beispiel?

Peissner: Wir forschen zum Beispiel an unserem Institut an der Mensch-Roboter-Interaktion. Dabei versuchen wir in der häuslichen Nutzung von Robotern ein gewisses Vertrauen und soziale Beziehungen zwischen Mensch und Technik zu etablieren. In diesem Bereich ist es ganz entscheidend, dass es ein gegenseitiges Verständnis gibt. Das ist aber auch in der Zusammenarbeit mit Robotersystemen in der Produktion so. Auch hier ist es wichtig, dass der Mensch weiß, was der Roboter vorhat, wie er sich bewegen wird - und umgekehrt gilt das natürlich auch.

Auch diese Aspekte könnte man unter das Schlagwort Explainable AI fassen - dass Menschen ein grundsätzliches Verständnis der Funktionsweise von KI-Systemen bekommen.