Machtübernahme“, „unkontrollierbare Superintelligenz“, „Dritter Weltkrieg“, „schlimmstes Ereignis der Geschichte“ – das sind nur einige der drastischen Warnungen vor einer bevorstehenden „KI-Apokalypse“, die in den vergangenen Jahren Schlagzeilen gemacht haben. Sie stammen nicht etwa von linken Spinnern oder rechten Forschungsfeinden, sondern von Wissenschaftlern wie Stephen Hawking oder Fortschrittsikonen wie Elon Musk und Bill Gates.

Tatsächlich greift der Einsatz von Machine Learning und anderen KI-Verfahren schon heute tief in das Leben vieler Menschen ein. Algorithmen unterscheiden Terroristen von harmlosen Passanten, prognostizieren das Rückfallrisiko eines Straftäters, berechnen bei Kreditanfragen die Bonität und entscheiden, wer einen Job oder eine berufliche Förderung bekommt und wer nicht. Wie weit diese Eingriffe gehen können, zeigt das Social-Credit-System in China. Erst Künstliche Intelligenz macht einen Überwachungsstaat möglich, der Orwells Dystopie „1984“ geradezu idyllisch aussehen lässt.

Obwohl die ersten Warnungen vor der Macht von KI bereits zehn Jahre zurückliegen, beginnen Gesetzgeber erst jetzt damit, Regeln für die Entwicklung und den Einsatz Künstlicher Intelligenz zu formulieren. Einer der ersten Versuche ist das „Gesetz über künstliche Intelligenz“ der Europäischen Union (Artificial Intelligence Act), für das seit April 2021 ein offizieller Vorschlag vorliegt.

Die geplante KI-Regulierung in der EU ist zwar die größte, aber bei Weitem nicht die einzige Gesetzesinitiative, die sich mit der Einhegung der KI befasst. Als eine der ersten Städte in den USA verbot beispielsweise San Francisco bereits 2019 den Einsatz von Gesichtserkennungs-Software durch die Polizei und andere Behörden. Weitere amerikanische Städte wie Oakland und Somerville folgten.

Zunehmend gerät auch der Einsatz biometrischer Methoden durch Unternehmen zur Überwachung von Kunden, Passanten oder Mitarbeitern ins Visier US-amerikanischer Staaten und Gemeinden. Der „Biometric Information Privacy Act“ (BIPA) von Illinois gilt vielen als Vorbild. „Das Gesetz hat in kurzer Zeit zu zahllosen Gerichtsverfahren mit zum Teil drakonischen Strafen geführt“, sagt Bart B. Willemsen, Datenschutzexperte und Research Vice President beim Analystenhaus Gartner. Ähnliche Gesetze gibt es in Virginia, Texas, Washington, Kalifornien und Arkansas, viele weitere Staaten planen entsprechende Regeln. Auch Städte wie Portland, Baltimore und New York setzen dem Einsatz von Gesichtserkennung und anderen biome­trischen Verfahren für kommerzielle und private Zwecke enge Grenzen.

Anders als die bestehenden Regeln konzentriert sich die EU-Vorlage nicht auf einzelne Anwendungsbereiche, sondern definiert in einem sogenannten horizontalen Ansatz Risikoklassen, die unabhängig vom konkreten Einsatzgebiet sind. Dabei teilt die EU KI-Systeme in drei Gruppen ein:

Verbotene Anwendungen: KI darf unter anderem nicht dafür eingesetzt werden, um Menschen ohne deren Wissen zu manipulieren, wenn dabei ein psychischer oder physischer Schaden für den Betroffenen oder eine andere Person entsteht. Auch bei besonders schutzbedürftigen Personenkreisen wie älteren sowie körperlich oder geistig eingeschränkten Menschen ist der Einsatz verboten, sofern eine Schwäche ausgenutzt werden soll, um der Person oder einem Dritten zu schaden. Die Anwendung von Social-Scoring durch Behörden soll ebenfalls untersagt sein. „Social-Scoring ist schon datenschutzrechtlich unzulässig, dieses Verbot ist meiner Ansicht nach daher vor allem ein politisches Signal“, erklärt Georg Borges vom Lehrstuhl für Bürgerliches Recht, Rechtsinformatik, deutsches und internationales Wirtschaftsrecht sowie Rechtstheorie und Direktor des Instituts für Rechtsinformatik an der Universität des Saarlandes. „Es soll den Unterschied zwischen den Rechtsvorstellungen in der Europäischen Union und in China verdeutlichen.“ Auch der Einsatz sogenannter biometrischer Echtzeit-Fern­identifizierungssysteme (siehe Kasten auf Seite 54) zur Strafverfolgung soll beschränkt werden. Borges hält das im Grundsatz für sinnvoll: „Es gibt bestimmte KI-Systeme, die wir in der Gesellschaft nicht haben möchten, und es ist gut, wenn der Gesetzgeber das klarstellt.

Hochrisiko-KI-Systeme: Hierunter fallen unter anderem Anwendungen zur biometrischen Identifizierung und Kategorisierung von Personen, die Verwaltung kritischer Infrastrukturen, Maßnahmen im beruflichen Umfeld, die Dienste von Behörden, die Beurteilung der Kreditwürdigkeit, die Priorisierung von Rettungsmaßnahmen, Strafverfolgung, Migration und Asyl sowie Rechtspflege und demokratische Prozesse. In Anhang III des Gesetzes findet sich eine detaillierte Liste der als Hochrisiko klassifizierten KI-Systeme. Für diese Lösungen sollen besonders hohe Anforderungen an Robustheit, Sicherheit und Genauigkeit gelten. Alle Vorgänge sind zu dokumentieren, die Betroffenen angemessen zu informieren. Werden Hochrisiko-KI-Systeme allerdings in bereits regulierte Produkte wie Flugzeuge, Kraftfahrzeuge oder Eisenbahnsysteme integriert, gelten die bestehenden Rechtsrahmen. Näheres dazu findet sich in Anhang II. „Wir haben bewusst einen Ansatz gewählt, wo wir versuchen, nicht zu überlappen, sondern uns nahtlos einzufügen und komplementär und kohärent zu sein“, betont Irina Orssich, Head of Sector AI Policy bei der Europäischen Kommission auf einer Online-Veranstaltung der Gesellschaft für Informatik.

KI-Anwendungen mit geringem oder minimalem Risiko: Bei KI-Systemen mit geringem Risiko wie Chat­bots sieht das Gesetz eine Transparenzpflicht vor. Borges hält diese Transparenzanforderungen für einen „interessanten Versuch, dessen Erfolg wir noch nicht abschätzen können“: „Es ist jedenfalls nicht schlecht, wenn der Betreiber eines KI-Systems dem Verbraucher gegenüber klarstellen muss, dass er mit einer Maschine redet und nicht mit einem Menschen.“ Lösungen wie KI-basierte Spamfilter oder Videospiele gelten als wenig oder gar nicht riskant und sollen nicht reguliert werden. „Wir glauben, dass grundsätzlich der Großteil aller KI überhaupt keiner verbindlichen Regelung unterworfen wird, weil sie einfach keine Gefahr für Grundrechte oder die Sicherheit bedeutet“, sagt KI-Expertin Orssich.

Das KI-Gesetz will aber nicht nur regulieren, sondern auch Innovationen fördern und für eine größere Verbreitung von KI sorgen. Bis 2030 sollen der EU-Digitalstrategie zufolge 75 Prozent aller europäischen Unternehmen KI einsetzen – laut einer Studie des Branchenverbands Bitkom sind es in Deutschland aktuell gerade einmal 6 Prozent (siehe Grafik). Zu den im KI-Gesetz genannten Fördermaßnahmen gehören sogenannte KI-Reallabore für die Entwicklung, Erprobung und Validierung neuer KI-Lösungen. In ihnen dürfen unter bestimmten Voraussetzungen auch personenbezogene Daten verwendet werden. Kleine Unternehmen und Start-ups sollen einen bevorzugten Zugang zu diesen Reallaboren erhalten.

Der Entwurf sieht außerdem die Gründung eines Europäischen Ausschusses für Künstliche Intelligenz vor, der die Zusammenarbeit der nationalen Aufsichtsbehörden koordiniert und die EU-Kommission berät.

Viele Experten begrüßen prinzipiell den Vorstoß der EU. „Das KI-Gesetz bietet auf jeden Fall Chancen für eine notwendige Arrondierung des Rechtsrahmens. Die Grundelemente sind vernünftig und zu begrüßen, das ist schon einmal eine große Leistung“, sagt Rechtsinformatik-Professor Borges. Er sieht das KI-Gesetz bei der Frage des Persönlichkeitsschutzes auch als wichtige Ergänzung zur Datenschutz-Grundverordnung: „Es gibt persönlichkeitsrechtliche Pro­bleme, die nicht durch den klassischen Datenschutz abgedeckt sind. Hier greift das KI-Gesetz ein, indem es nicht die Verwendung von Daten, sondern die Manipulation von Bürgern verbietet.“ Borges hält das für richtig: „Ich begrüße es sehr, dass das KI-Gesetz den Persönlichkeitsschutz in Bezug auf verletzende Einwirkungen regelt und nicht nur auf die Vorfrage der Verwendung von Daten.“

Gartner-Analyst Willemsen sieht die geplante KI-Regulierung in erster Linie als Teil einer größeren Strategie: „Mit der Datenschutz-Grundverordnung hat die Europäische Union bereits die Grundlage für die Verarbeitung von Daten gelegt. Initiativen wie das KI-Gesetz, aber auch der Digital Markets und der Digital Services Act sowie insbesondere der Data Governance Act treiben diese Entwicklung weiter voran und sollen einen einheitlichen europäischen Markt ermöglichen.“

Ähnlich positiv äußert sich auch Stephan Dreyer, Senior Researcher Medienrecht & Media Governance an der Universität Hamburg, gegenüber dem Journalistenverbund Science Media Center Germany (SMC): „Die Verordnung ist eine hoch spannende Entwicklung in einem Regulierungsfeld, das weltweit erst zaghaft in den Blick genommen wird. Die EU-Kommission zeigt hier, dass sie die gesellschaft­liche Relevanz der strukturverändernden Potenziale des Einsatzes von KI-Systemen erkannt hat und in möglichst grundrechtswahrende Bahnen lenken will.“ Christiane Wendehorst, Professorin für Zivilrecht an der Universität Wien und von 2018 bis 2019 Co-Vorsitzende der Datenethikkommission der deutschen Bundesregierung, begrüßt den Entwurf ebenfalls: „Die Europäische Kommission hat sich hier sichtlich um einen Kompromiss bemüht, der eine Reihe von Problemen adressiert, ohne Europa als Technologiestandort zu gefährden.“

Wissenschaftler, Juristen und Wirtschaftsvertreter sehen im vorliegenden Entwurf allerdings auch deutlichen Verbesserungsbedarf. „Das Gesetz weist erhebliche konstruktive Mängel auf und darf auf keinen Fall so in Kraft treten“, sagt Georg Borges von der Uni Saarbrücken. Er bezweifelt außerdem die Allgemeingültigkeit, die der Titel „KI-Gesetz“ suggeriert: „Das weckt Erwartungen, die weit über das hi­nausgehen, was das Gesetz zu leisten vermag.“ Borges zufolge handelt es sich beim KI-Gesetz im Wesentlichen um eine Erweiterung des Produktsicherheitsrechts. „Es regelt in erster Linie das Risikomanagement beim Inverkehrbringen von KI-Systemen, verbietet bestimmte Anwendungen und stellt Transparenzpflichten auf, befasst sich aber weder mit Fragen der Haftung noch mit den recht­lichen Wirkungen von KI.“ Zu Borges’ Hauptkritikpunkten zählt die Vorstellung, Anbieter und Nutzer von KI-Systemen ließen sich strikt trennen: „Der Entwurf macht den Anwender von KI zum passiven Konsumenten, der nur der Bedienungsanleitung folgt“, bemängelt der Rechtsexperte. „Es gehört aber zum legitimen Recht eines Nutzers, neue Anwendungsbereiche für ein Produkt zu finden und es anders einzusetzen als vorgesehen.“  Das Gesetz erschwere einen  solchen zweckändernden Einsatz erheblich. „Das ist nicht sachgerecht.“

Gartner-Analyst Willemsen mahnt, KI nicht losgelöst von anderen Aspekten des Alltags zu betrachten: „Hier entstehen Regeln für eine Parallelwelt ‚mit KI‘, die in anderen Gesetzen wie etwa der DSGVO schon reguliert sind.“ So ergäben sich beispielsweise Forderungen nach einer erklärbaren und transparenten KI bereits aus den Fundamenten, die mit der Datenschutz-Grundverordnung gelegt wurden. „Eine KI-Regulierung sollte vor allem die Aspekte im Blick haben, bei denen durch die eingesetzten Technologien gravierende Effekte auf die Betroffenen entstehen.“

Das Center of Data Innovation (CDI) warnt in einer Studie vor den hohen Kosten, die durch die Regulierung entstehen könnten. Laut Benjamin Müller, politischer Analyst beim Center for Data Innovation und Autor der Studie, würde das geplante Gesetz die europäische Wirtschaft in den kommenden fünf Jahren 31 Milliarden Euro kosten. Auf kleine und mittlere Unternehmen (KMUs), die eine Hochrisiko-KI-Anwendung entwickeln wollten, kämen demnach Aufwendungen von durchschnittlich 400.000 Euro zu. Insgesamt könnten die Compliance-Kosten das Investitions­volumen in neue KI-Lösungen um bis zu 20 Prozent reduzieren. „Die Kommission hat wiederholt argumentiert, dass das KI-Gesetz das Wachstum und die Innovation im digitalen Sektor unterstützt“, sagt Müller. „Eine Analyse der Kosten zeigt allerdings, wie unrealistisch dieses Argument ist.“ Auch Rechtsinformatik-Experte Borges sieht das Problem: „Die Gefahr einer Überregulierung und einer Belastung von Anbietern mit überhöhten Kosten für das Risikomanagement besteht in jedem Fall. Es ist deshalb extrem wichtig, den Anwendungsbereich der Vorschriften über Hochrisiko-KI-Systeme so zu fassen, dass daraus keine Innovationshemmnisse entstehen.“

Laut Borges ist vor allem das Geschäftsmodell kleiner Software-Unternehmen gefährdet: „Es gibt Zigtausend Anbieter, die Standard-Software an spezielle Einsatzgebiete anpassen, die für die großen Hersteller der Applika­tionen nicht attraktiv sind“, erklärt der Rechtsinformatiker. „Auf den KI-Bereich angewendet würden solche Akteure nach dem vorliegenden Entwurf zum Anbieter werden und müssten das komplette Pflichtenpaket übernehmen, während der eigentliche Hersteller außen vor wäre. Das könnte sehr leicht zu Hemmnissen führen.“

Gartner-Analyst Willemsen glaubt dagegen nicht, dass KMUs durch die KI-Gesetzgebung belastet würden: „Die Gesetzesvorlage richtet sich an Firmen, die KI-Systeme entwickeln, verfügbar machen oder auf den Markt bringen. Sie zielt nicht auf den mittelständischen Anwender.“

Thierry Breton, EU-Kommissar für Binnenmarkt und Dienstleistungen, betont: „Man sollte den Vorteil der EU als Vorreiter nicht unterschätzen.“ Vorreiter aber machen Fehler, die Nachzüglern vielleicht nicht mehr unterlaufen.

Der vorliegende Entwurf für ein KI-Gesetz jedenfalls hat Potenzial und geht vom Grundsatz her in die richtige Richtung. Er weist aber erheblichen Verbesserungsbedarf auf. Vor allem die Frage der Kontrolle und Durchsetzung muss in den kommenden Monaten diskutiert werden. Für die Umsetzung sollen weitgehend bereits bestehende Behörden und Einrichtungen zuständig sein, die jetzt schon überlastet sind oder – wie die Antidiskriminierungsstellen – gar nicht die Macht haben, Sanktionen zu verhängen. Die Gefahr ist groß, dass das Gesetz in weiten Teilen ein Papiertiger bleibt und seine Wirkung auf den Schutz von Grundrechten nicht entfalten kann. Davon würden wie schon bei der DSGVO vor allem die großen US-Plattform-Provider profitieren, während kleine und mittelständische Anbieter durch Dokumentations- und Nachweispflichten erdrückt werden.

Der Entwurf geht nun in die nächste Phase. Im Rahmen eines Konsultationsprozesses haben Wissenschaftler, Wirtschaftsexperten und Verbände die Möglichkeit, ihre Sicht der Dinge einzubringen. „Ich bin sicher, dass es noch erhebliche Änderungen im Entwurf geben wird“, sagt Georg Borges. „Bis zum Erlass des KI-Gesetzes ist es noch ein weiter Weg.“