Im Gespräch mit Dr. Carsten Orwat vom KIT

Carsten Orwat ist Wissenschaftler in der Forschungsgruppe „Digitale Technologien und gesellschaftlicher Wandel“ am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), einer Forschungseinrichtung des Karlsruher Instituts für Technologie (KIT). Im Interview mit com! professional erklärt er, warum KI-basierte Entscheidungen die Grundrechte Betroffener verletzen können.

Carsten Orwat: Das kann durchaus stimmen. Es ist tatsächlich so, dass man erwartet, dass solche Verfahren zu neutraleren Entscheidungen führen können.

com! professional: Dennoch warnen Sie in Ihrer für die Antidiskriminierungsstelle des Bundes verfassten Studie vor Diskriminierungsrisiken durch Algorithmen …

Orwat: Es geht hier nicht um Schwarz-Weiß-Malerei, sondern um eine Abwägung von gesellschaftlichen Gütern, vor allem Schutzgüter des Grundgesetzes. Auf der einen Seite können diese Verfahren für mehr Effizienz und vielleicht auch Genauigkeit sorgen, auf der anderen Seite kann es dadurch aber auch zur Einschränkung von Grundrechten kommen.

com! professional: Scoring- und Profiling-Verfahren sind ja nichts Neues. Banken und Versicherungen verwenden schon lange mathematische Modelle, um Kreditrisiken oder Versicherungsbeiträge zu berechnen. Was ist denn das Besondere an den neuen Verfahren?

Orwat: Die modernen KI-basierten Anwendungen können wesentlich mehr als die alten Verfahren. Durch die großen Mengen an Daten, die heute zur Verfügung stehen, wird maschinelles Lernen ermöglicht. Regeln werden nicht mehr programmiert, sondern auf Basis der Datenanalysen erlernt. Das geht zulasten der Nachvollziehbarkeit und kann zu Diskriminierung führen. Deswegen brechen die bisherigen Abwägungen von gesell­schaft­lichen Zielen und Gütern auf und müssen neu verhandelt werden.

com! professional: Wo sehen Sie problematische Bereiche?

Orwat: Immer dann, wenn es nicht um triviale Entscheidungen geht, sondern um wesentliche Ressourcen für die Persönlichkeitsgestaltung und -entfaltung wie die Vergabe von Studienplätzen, Wohnungen, Stellen, Krediten oder bei Einsätzen im Justizsystem.

com! professional: Wie könnte man die Rechte der Betroffenen stärken?

Orwat: Die Antidiskriminierungsstellen fordern schon seit Jahren eine rechtliche Handhabe, aktiver vorgehen und selbst Klagen einreichen zu können. Nach dem geltenden Recht können nur betroffene Personen tätig werden und müssen einen begründeten Anfangsverdacht mit entsprechenden Indizien nachweisen können. Viele der bekannt gewordenen Diskriminierungsfälle durch Algorithmen wurden aber von Forschern oder von Journalisten aufgedeckt. Es gibt nur wenige Fälle, in denen Betroffene tatsächlich Verdacht geschöpft haben. Das ist schon ein deutlicher Unterschied zu menschlicher Diskriminierung, zumal vor Gericht statistische Nachweise aus der Forschung nur selten anerkannt werden.

com! professional: Mathematische Entscheidungsmodelle haben nach wie vor den Ruf, sachlich korrekte und unvoreingenommene Ergebnisse zu liefern. Haben es Betroffene vielleicht auch deshalb so schwer?

Orwat: Das kann sein. Aus der Forschung kennt man schon lange den sogenannten Automation Bias. Das heißt, Menschen tendieren dazu, sich stark an den Vorgaben und Empfehlungen eines Computers zu orientieren. Sie können auch die Fähigkeit des kontrollierenden und korrigierenden Eingriffs in ungewöhnlichen Situationen verlieren.

com! professional: Wie kann die Gesellschaft entscheiden, ob und in welchem Umfang algorithmenbasierte Entscheidungen zulässig sind und wo sie verboten oder zumindest eingeschränkt werden sollten?

Orwat: Das wird derzeit viel diskutiert. Es gibt beispielsweise ein Gutachten der von der Bundesregierung einberufenen Daten­ethikkommission, das Systeme anhand ihrer Kritikalität klassifiziert. Ich finde den Begriff nicht sehr glücklich und auch die Art und Weise, wie die Kommission zu ihrer Klasseneinteilung kommt, ist nicht so recht nachvollziehbar. Von der EU-Kommission gibt es ebenfalls ein Whitepaper zu diesem Thema. Darin werden die Risiken zunächst für ganze Branchen bestimmt und dann sollen Systeme in hohe oder keine Risiken eingeteilt werden. Auch dieses Vorgehen halte ich für problematisch.

Orwat: Nichterklärbarkeit ist sicher ein Faktor. Eine Aussage „Alle KI ist intransparent“ halte ich auf jeden Fall für zu pauschal und undifferenziert. Es gibt derzeit sehr viele Forschungsanstrengungen, KI-basierte Entscheidungen im Nachhinein erklärbar zu machen - Stichwort Explainable AI. Die Entscheidungsmechanismen vieler KI-Verfahren, etwa Expertensysteme, sind zudem durchaus durch die Entwickler und Anwender nachvollziehbar und transparent. Auch mit empirischen Methoden lässt sich nachvollziehen, wie sich Maschinen verhalten, und es lassen sich Wahrscheinlichkeitsaussagen zu den möglichen Ergebnissen treffen. Nichtnachvollziehbarkeit von außen ist auch oft durch die Rechtsprechung verursacht, die den Schutz von Betriebs- und Geschäftsgeheimnissen den Informationsansprüchen der Betroffenen entgegenstellt.

com! professional: Eine Stärke maschineller Verfahren ist die Mustererkennung in großen Datenmengen. Daher werden häufig Dutzende oder Hunderte personenbezogener Parameter analysiert. Verstößt diese Durchleuchtung nicht gegen das Recht auf informationelle Selbstbestimmung?

Orwat: Die Erstellung und Verwendung umfassender und feingranularer Personenprofile widerspricht dem Sinn des Rechts auf informationelle Selbstbestimmung, weil wir Betroffenen ein aus Daten fabriziertes Fremdbild übergestülpt bekommen können und damit in Entscheidungen konfrontiert werden, ohne dass wir ausreichend Chancen haben, dieses Bild mitzubestimmen. Ich sehe das Grundproblem solcher maschineller Verfahren auch darin, dass ihre Vorhersagen grundsätzlich auf den Daten anderer Menschen beruhen und nicht auf denen der zu bewertenden Person. Das kollidiert mit den grundlegenden Vorstellungen des Grundgesetzes. Dabei geht es um die Einzelfallgerechtigkeit. Danach soll bei Entscheidungen die Einzelperson und ihre jeweilige Situation bewertet werden und eben keine bloße Zuordnung von Menschen zu Personenkategorien erfolgen, die dann noch mit Daten über

andere Menschen fabriziert werden. Ebenso müsste man den Betroffenen die Möglichkeit geben, zu ihrer Bewertung Stellung zu nehmen und korrigierend darauf einwirken zu können, bevor Entscheidungen getroffen werden. Dieses Recht auf Selbstdarstellung leitet sich aus dem Recht auf die freie Entfaltung der Persönlichkeit ab.

com! professional: Was müsste die Politik tun?

Orwat: Das Datenschutzrecht müsste an bestimmten Punkten überdacht werden. Die informierte Einwilligung funktioniert beispielsweise nicht. Niemand versteht diese ellenlangen Datenschutzerklärungen in Juristendeutsch. Eigentlich sollte dieses Verfahren ja den Betroffenen die Möglichkeit geben, auf datenbasierte Entscheidungen Einfluss zu nehmen. Dieses Instrument hat aber seinen eigentlichen Zweck verloren. Man müsste den betroffenen Personen wieder die einzelnen Kriterien sichtbar machen, die zu der Entscheidung geführt haben, und ihnen die Möglichkeit geben, darauf einzuwirken. Die Politik müsste auch bei einzelnen algorithmenbasierten Praktiken entscheiden, wem die Vorteile der Automatisierung zufallen und ob es gesellschaftlich gerechtfertigt ist, Grundrechte dafür einzuschränken.

com! professional: Ist die Politik nicht viel zu langsam, angesichts der Dynamik und Schnelligkeit, mit der KI-basierte Entscheidungssysteme entwickelt und eingesetzt werden?

Orwat: Nein, es gibt durchaus Handlungsmöglichkeiten. Die Exekutive könnte etwa Moratorien verhängen, so lange nicht klar ist, wie die Systeme funktionieren und welche Folgen sie für die Betroffenen haben. Mehrere US-Staaten haben beispielsweise die Verwendung algorithmenbasierter Systeme für die Bewertung der Rückfallwahrscheinlichkeit von Straftätern verboten. In Städten wie Los Angeles und San Francisco darf KI nicht mehr zur Gesichtserkennung in der Videoüberwachung eingesetzt werden.

com! professional: Was kann der Einzelne tun, um die Gefahr zu minimieren, Opfer KI-basierter Diskriminierung zu werden? Sollten wir sparsamer mit unseren Daten umgehen?

Orwat: Ich stehe dem kritisch gegenüber, wenn die Politik zu stark auf Selbstdatenschutz setzt. Die schiere Anzahl der Produkte und Dienste, die wir konsumieren, ist zu groß, und es ist ausgesprochen schwer nachzuvollziehen, was da genau passiert. Ich habe zum Beispiel versucht, mein Smartphone etwas datenschutzfreundlicher zu machen. Das hat mich etliche Stunden gekostet, und ich habe immer noch kein gutes Gefühl.