Verständnis schafft Vertrauen und Akzeptanz

Blick in die Blackbox

von - 06.04.2020
Das Fraunhofer Heinrich-Hertz-Institut in Berlin entwickelt zusammen mit der Technischen Universität Berlin eine Art Gehirnscan für KI. Das Verfahren nennt sich Layer-wise Relevance Propagation (LRP). Vereinfacht gesagt lässt LRP den Denkprozess einer KI rückwärtslaufen. So wird nachvollziehbar, welcher Teil des Inputs welchen Einfluss auf das Ergebnis hatte. Mit einem Werkzeug wie LRP ließe sich also überprüfen, wie eine KI im Einzelfall zu einer medizinischen Diagnose oder einer Risikobewertung gekommen ist. In neuronalen Netzen betrachtet LRP die einzelnen Entscheidungsprozesse schichtweise rückwärts und berechnet, welche „Neuronen“ welche Entscheidungen getroffen haben und welche Relevanz diese für das Endergebnis hatten. Visualisieren lässt sich das Ganze mit einer Heatmap. Diese Methode, Ergebnisse neuronaler Netze nachträglich interpretierbar zu machen, lässt sich nicht nur in der Bilderkennung, sondern universell einsetzen.
„Deep-Learning-Modelle sind von Haus aus zunächst einmal nicht interpretierbar“, führt Kathy Baxter aus. „Deshalb wurden verschiedene Methoden entwickelt, damit diese Modelle eine Art Erklärung oder Begründung für ihre Vorhersagen liefern können.“ Eine Methode sei es, diejenigen Eigenschaften zu betrachten, die entscheidend für eine Vorhersage sind, wie etwa bei Layer-wise Relevance Propagation (LRP) oder Saliency Maps. Damit lässt sich in neuronalen Netzen zum Beispiel kontrollieren, ob die  richtigen  Regionen im Bild für die Klassifizierung verwendet werden. Dafür werden die Saliency Maps als Maske über das Eingabebild gelegt. Sollte eine nicht relevante Region markiert werden, deutet dies auf Fehler im neuronalen Netz hin.
„Die Bestimmung der einflussreichsten Trainingsbeispiele ist ein weiterer Weg, um die Vorhersagen zu erklären. So wird ein neuronales Netz eine Katze auf einem Bild erkennen, weil es den Trainingsdaten mit dem Label „Katze“ am meisten ähnelt.“ Die Beseitigung von Alternativen könne eine weitere Form der Erklärung für Vorhersagen mit mehreren Möglichkeiten sein. So würde ein neuronales Netz ein „Flugzeug“ erkennen, weil es Beweise gebe, die die alternative Möglichkeit „Vogel“ ausschließen. Der Einsatz eines weiteren Modells zur Validierung der ursprünglichen Vorhersage ist eine weitere Methode für XAI. 
Marco Peisker von Adesso kennt eine Vielzahl von XAI-Ansätzen und hält zwei Methoden für besonders relevant: LIME und Anchors. „Bei diesen Methoden handelt es sich um Modell-agnostische Verfahren, die sich in einer Vielzahl von Modellen des maschinellen Lernens anwenden lassen. Indem bei LIME die Eingangsdaten der KI iterativ verändert werden, können aus der Beobachtung der Auswirkungen auf die Ausgangswerte Aussagen zum Verhalten des Systems getroffen werden.“ Das Ergebnis erlaube dem menschlichen Bearbeiter so eine einfache Interpretation.
Bei Anchors wird versucht herauszufinden, welche Features eines Datensatzes sich nicht ändern dürfen, damit die Vorhersage gleich bleibt.
Konstantin Greger
Konstantin Greger
Solution Consultant bei Tableau Software
www.tableau.com
Foto: Tableau
„Nur wenn Entscheider sich auf Lösungsvor­schläge aus vertrauenswürdigen Daten und Prozessen verlassen können, haben intelligente Anwendungen einen echten Mehrwert für die Unternehmen.“
Pegasystems biete „Guardrails for Responsible AI“, erläutert Kay Knoche. „Damit können abhängig vom Geschäftsbereich eines Unternehmens Schwellenwerte für Transparenz eingestellt werden.“ Das stelle sicher, dass etwa in sensiblen Bereichen nur transparente Algorithmen zum Einsatz kommen. „Das verständliche Bedürfnis nach transparenter KI bedeutet aber nicht, dass sie per se die bessere KI ist, denn intransparente KI kann zutreffendere Ergebnisse liefern - ganz einfach deshalb, weil sie in den Methoden und Entscheidungskriterien, die sie verwendet, nicht eingeschränkt wird.“ Deshalb gelte es beim Einsatz von KI immer abzuwägen, was im konkreten Fall schwerer wiege: die möglicherweise besseren Ergebnisse oder die Erklärbarkeit der KI.

Erklärbare KI und DSGVO

Die Datenschutz-Grundverordnung (DSGVO)hat zur Folge, dass sich Unternehmen intensiv damit befassen müssen, wie sie mit Daten umgehen. Das legt die Grundlage für ein transparentes Datenmanagement und somit auch für erklärbare KI. Ethische Aspekte werden ebenfalls immer wichtiger. „Die EU-Kommission hat im Frühjahr letzten Jahres Ethik-Richtlinien für die Entwicklung und Anwendung von KI in Europa vorgelegt“, weiß Konstantin Greger von Ta­bleau. Er betont, dass der gesamte Lebenszy­klus der Daten hinterfragt werden müsse: von der ersten Erfassung über die Bearbeitung bis hin zur Analyse. So lasse sich einerseits die komplette Datenmanagement-Strategie durchleuchten und zudem die Einhaltung gesetzlicher Regelungen und interner ethischer Vorgaben sichern. „Aktuelle Entwicklungen beim Datenschutz werden die Verbreitung erklärbarer KI zusätzlich vorantreiben.“
Artikel 22 der DSGVO behandelt „Automatisierte Entscheidungen im Einzelfall“ und fordert eine grundlegende Transparenz. Die EU-Kommission diskutiert über konkrete Anforderungen für Konzeption, Umsetzung und Einsatz von KI-Anwendungen. Marco Peisker geht davon aus, dass in naher Zukunft weitere Vorgaben für die Ausgestaltung von KI-Systemen seitens des Gesetzgebers und auch der Aufsichtsbehörden folgen. „Die Anforderungen an die Erklärbarkeit der maschinellen Entscheidungen werden weiter steigen und der Einsatz von XAI wird sich zu einem Schlüsselfaktor aufsichtsrechtlicher Compliance entwickeln.“
Verwandte Themen