Was die EU plant

Anders als die bestehenden Regeln konzentriert sich die EU-Vorlage nicht auf einzelne Anwendungsbereiche, sondern definiert in einem sogenannten horizontalen Ansatz Risikoklassen, die unabhängig vom konkreten Einsatzgebiet sind. Dabei teilt die EU KI-Systeme in drei Gruppen ein:

Verbotene Anwendungen: KI darf unter anderem nicht dafür eingesetzt werden, um Menschen ohne deren Wissen zu manipulieren, wenn dabei ein psychischer oder physischer Schaden für den Betroffenen oder eine andere Person entsteht. Auch bei besonders schutzbedürftigen Personenkreisen wie älteren sowie körperlich oder geistig eingeschränkten Menschen ist der Einsatz verboten, sofern eine Schwäche ausgenutzt werden soll, um der Person oder einem Dritten zu schaden. Die Anwendung von Social-Scoring durch Behörden soll ebenfalls untersagt sein. „Social-Scoring ist schon datenschutzrechtlich unzulässig, dieses Verbot ist meiner Ansicht nach daher vor allem ein politisches Signal“, erklärt Georg Borges vom Lehrstuhl für Bürgerliches Recht, Rechtsinformatik, deutsches und internationales Wirtschaftsrecht sowie Rechtstheorie und Direktor des Instituts für Rechtsinformatik an der Universität des Saarlandes. „Es soll den Unterschied zwischen den Rechtsvorstellungen in der Europäischen Union und in China verdeutlichen.“ Auch der Einsatz sogenannter biometrischer Echtzeit-Fern­identifizierungssysteme (siehe Kasten auf Seite 54) zur Strafverfolgung soll beschränkt werden. Borges hält das im Grundsatz für sinnvoll: „Es gibt bestimmte KI-Systeme, die wir in der Gesellschaft nicht haben möchten, und es ist gut, wenn der Gesetzgeber das klarstellt.

Hochrisiko-KI-Systeme: Hierunter fallen unter anderem Anwendungen zur biometrischen Identifizierung und Kategorisierung von Personen, die Verwaltung kritischer Infrastrukturen, Maßnahmen im beruflichen Umfeld, die Dienste von Behörden, die Beurteilung der Kreditwürdigkeit, die Priorisierung von Rettungsmaßnahmen, Strafverfolgung, Migration und Asyl sowie Rechtspflege und demokratische Prozesse. In Anhang III des Gesetzes findet sich eine detaillierte Liste der als Hochrisiko klassifizierten KI-Systeme. Für diese Lösungen sollen besonders hohe Anforderungen an Robustheit, Sicherheit und Genauigkeit gelten. Alle Vorgänge sind zu dokumentieren, die Betroffenen angemessen zu informieren. Werden Hochrisiko-KI-Systeme allerdings in bereits regulierte Produkte wie Flugzeuge, Kraftfahrzeuge oder Eisenbahnsysteme integriert, gelten die bestehenden Rechtsrahmen. Näheres dazu findet sich in Anhang II. „Wir haben bewusst einen Ansatz gewählt, wo wir versuchen, nicht zu überlappen, sondern uns nahtlos einzufügen und komplementär und kohärent zu sein“, betont Irina Orssich, Head of Sector AI Policy bei der Europäischen Kommission auf einer Online-Veranstaltung der Gesellschaft für Informatik.

KI-Anwendungen mit geringem oder minimalem Risiko: Bei KI-Systemen mit geringem Risiko wie Chat­bots sieht das Gesetz eine Transparenzpflicht vor. Borges hält diese Transparenzanforderungen für einen „interessanten Versuch, dessen Erfolg wir noch nicht abschätzen können“: „Es ist jedenfalls nicht schlecht, wenn der Betreiber eines KI-Systems dem Verbraucher gegenüber klarstellen muss, dass er mit einer Maschine redet und nicht mit einem Menschen.“ Lösungen wie KI-basierte Spamfilter oder Videospiele gelten als wenig oder gar nicht riskant und sollen nicht reguliert werden. „Wir glauben, dass grundsätzlich der Großteil aller KI überhaupt keiner verbindlichen Regelung unterworfen wird, weil sie einfach keine Gefahr für Grundrechte oder die Sicherheit bedeutet“, sagt KI-Expertin Orssich.

Das KI-Gesetz will aber nicht nur regulieren, sondern auch Innovationen fördern und für eine größere Verbreitung von KI sorgen. Bis 2030 sollen der EU-Digitalstrategie zufolge 75 Prozent aller europäischen Unternehmen KI einsetzen – laut einer Studie des Branchenverbands Bitkom sind es in Deutschland aktuell gerade einmal 6 Prozent (siehe Grafik). Zu den im KI-Gesetz genannten Fördermaßnahmen gehören sogenannte KI-Reallabore für die Entwicklung, Erprobung und Validierung neuer KI-Lösungen. In ihnen dürfen unter bestimmten Voraussetzungen auch personenbezogene Daten verwendet werden. Kleine Unternehmen und Start-ups sollen einen bevorzugten Zugang zu diesen Reallaboren erhalten.

Der Entwurf sieht außerdem die Gründung eines Europäischen Ausschusses für Künstliche Intelligenz vor, der die Zusammenarbeit der nationalen Aufsichtsbehörden koordiniert und die EU-Kommission berät.

Viele Experten begrüßen prinzipiell den Vorstoß der EU. „Das KI-Gesetz bietet auf jeden Fall Chancen für eine notwendige Arrondierung des Rechtsrahmens. Die Grundelemente sind vernünftig und zu begrüßen, das ist schon einmal eine große Leistung“, sagt Rechtsinformatik-Professor Borges. Er sieht das KI-Gesetz bei der Frage des Persönlichkeitsschutzes auch als wichtige Ergänzung zur Datenschutz-Grundverordnung: „Es gibt persönlichkeitsrechtliche Pro­bleme, die nicht durch den klassischen Datenschutz abgedeckt sind. Hier greift das KI-Gesetz ein, indem es nicht die Verwendung von Daten, sondern die Manipulation von Bürgern verbietet.“ Borges hält das für richtig: „Ich begrüße es sehr, dass das KI-Gesetz den Persönlichkeitsschutz in Bezug auf verletzende Einwirkungen regelt und nicht nur auf die Vorfrage der Verwendung von Daten.“

Gartner-Analyst Willemsen sieht die geplante KI-Regulierung in erster Linie als Teil einer größeren Strategie: „Mit der Datenschutz-Grundverordnung hat die Europäische Union bereits die Grundlage für die Verarbeitung von Daten gelegt. Initiativen wie das KI-Gesetz, aber auch der Digital Markets und der Digital Services Act sowie insbesondere der Data Governance Act treiben diese Entwicklung weiter voran und sollen einen einheitlichen europäischen Markt ermöglichen.“

Ähnlich positiv äußert sich auch Stephan Dreyer, Senior Researcher Medienrecht & Media Governance an der Universität Hamburg, gegenüber dem Journalistenverbund Science Media Center Germany (SMC): „Die Verordnung ist eine hoch spannende Entwicklung in einem Regulierungsfeld, das weltweit erst zaghaft in den Blick genommen wird. Die EU-Kommission zeigt hier, dass sie die gesellschaft­liche Relevanz der strukturverändernden Potenziale des Einsatzes von KI-Systemen erkannt hat und in möglichst grundrechtswahrende Bahnen lenken will.“ Christiane Wendehorst, Professorin für Zivilrecht an der Universität Wien und von 2018 bis 2019 Co-Vorsitzende der Datenethikkommission der deutschen Bundesregierung, begrüßt den Entwurf ebenfalls: „Die Europäische Kommission hat sich hier sichtlich um einen Kompromiss bemüht, der eine Reihe von Problemen adressiert, ohne Europa als Technologiestandort zu gefährden.“

Wissenschaftler, Juristen und Wirtschaftsvertreter sehen im vorliegenden Entwurf allerdings auch deutlichen Verbesserungsbedarf. „Das Gesetz weist erhebliche konstruktive Mängel auf und darf auf keinen Fall so in Kraft treten“, sagt Georg Borges von der Uni Saarbrücken. Er bezweifelt außerdem die Allgemeingültigkeit, die der Titel „KI-Gesetz“ suggeriert: „Das weckt Erwartungen, die weit über das hi­nausgehen, was das Gesetz zu leisten vermag.“ Borges zufolge handelt es sich beim KI-Gesetz im Wesentlichen um eine Erweiterung des Produktsicherheitsrechts. „Es regelt in erster Linie das Risikomanagement beim Inverkehrbringen von KI-Systemen, verbietet bestimmte Anwendungen und stellt Transparenzpflichten auf, befasst sich aber weder mit Fragen der Haftung noch mit den recht­lichen Wirkungen von KI.“ Zu Borges’ Hauptkritikpunkten zählt die Vorstellung, Anbieter und Nutzer von KI-Systemen ließen sich strikt trennen: „Der Entwurf macht den Anwender von KI zum passiven Konsumenten, der nur der Bedienungsanleitung folgt“, bemängelt der Rechtsexperte. „Es gehört aber zum legitimen Recht eines Nutzers, neue Anwendungsbereiche für ein Produkt zu finden und es anders einzusetzen als vorgesehen.“  Das Gesetz erschwere einen  solchen zweckändernden Einsatz erheblich. „Das ist nicht sachgerecht.“

Gartner-Analyst Willemsen mahnt, KI nicht losgelöst von anderen Aspekten des Alltags zu betrachten: „Hier entstehen Regeln für eine Parallelwelt ‚mit KI‘, die in anderen Gesetzen wie etwa der DSGVO schon reguliert sind.“ So ergäben sich beispielsweise Forderungen nach einer erklärbaren und transparenten KI bereits aus den Fundamenten, die mit der Datenschutz-Grundverordnung gelegt wurden. „Eine KI-Regulierung sollte vor allem die Aspekte im Blick haben, bei denen durch die eingesetzten Technologien gravierende Effekte auf die Betroffenen entstehen.“