AI Act mit harten Regeln für GPT und Ausnahmen für Open Source nimmt wichtige Hürde

Am Donnerstag vormittag, vor wenigen Minuten, haben der Binnenmarktausschuss und der Ausschuss für bürgerliche Freiheiten (IMCO und LIBE) den Entwurf eines Verhandlungsmandats für den AI Act mit 84 Ja-Stimmen, 7 Nein-Stimmen und 12 Enthaltungen angenommen. In ihren Änderungsanträgen zum Kommissionsvorschlag wollen die EU-Abgeordneten sicherstellen, dass KI-Systeme von Menschen überwacht werden, sicher, transparent, nachvollziehbar, nicht diskriminierend und umweltfreundlich sind, heißt es.

Damit hat sich eine ganz klare Mehrheit neben Verboten für bestimmte AI-Anwendungen auch für maßgeschneiderte Regelungen für KI für allgemeine Zwecke (AGI) und Grundlagenmodelle (Foundation Models) wie GPT sowie für ein allgemeines Recht für Beschwerden über KI-Systeme ausgesprochen. Nach der Zustimmung in den wichtigen Ausschüssen folgt nun die große, finale Abstimmung im Plenum zwischen dem 12. und 15. Juni.

Verbote für biometrische und Emotions-Erkennung

KI-Systeme, die ein inakzeptables Risiko für die Sicherheit von Menschen darstellen, sollen in der EU künftig verboten werden. „Dazu gehören Systeme, die unterschwellige oder absichtlich manipulative Techniken einsetzen, die Schwachstellen von Menschen ausnutzen oder für Social Scoring (Klassifizierung von Menschen auf der Grundlage ihres Sozialverhaltens, ihres sozioökonomischen Status oder persönlicher Merkmale) verwendet werden“, heißt es seitens EU-Parlament. Folgende KI-Anwendungen stehen auf der Verbotsliste:

• Biometrische Fernerkennungssysteme in Echtzeit in öffentlich zugänglichen Räumen
• Biometrische Fernerkennungssysteme im Nachhinein, mit der einzigen Ausnahme von Strafverfolgungsbehörden zur Verfolgung schwerer Straftaten und nur nach richterlicher Genehmigung
• Biometrische Kategorisierungssysteme, die sensible Merkmale verwenden (z. B. Geschlecht, Rasse, ethnische Zugehörigkeit, Staatsangehörigkeit, Religion, politische Orientierung)
• Prädiktive Polizeisysteme (auf der Grundlage von Profilerstellung, Standort oder früherem kriminellen Verhalten)
• Systeme zur Erkennung von Emotionen bei der Strafverfolgung, beim Grenzschutz, am Arbeitsplatz und in Bildungseinrichtungen
• Wahlloses Auslesen biometrischer Daten aus sozialen Medien oder Videoüberwachungsaufnahmen zur Erstellung von Gesichtserkennungsdatenbanken (Verletzung der Menschenrechte und des Rechts auf Privatsphäre)

Hochriskante KI und Transparenz für GPT

Dem nicht genug, soll es auch eine Klassifizierung der Hochrisikobereiche geben. Auch KI-Systeme zur Beeinflussung von Wähler:innen in politischen Kampagnen und in Empfehlungssystemen, die von sozialen Medienplattformen (mit mehr als 45 Millionen Nutzern) verwendet werden, der Liste der Hochrisikobereiche hinzu. Wie im Vorfeld berichtet, wird es auch strenge Auflagen insbesondere für ChatGPT und ähnliche Modelle geben.

„Generative Basismodelle wie GPT müssten zusätzliche Transparenzanforderungen erfüllen, z. B. offenlegen, dass die Inhalte durch KI generiert wurden, das Modell so konzipieren, dass es keine illegalen Inhalte generiert, und Zusammenfassungen urheberrechtlich geschützter Daten veröffentlichen, die für das Training verwendet wurden“, heißt es seitens EU-Parlament. Es gibt bereits mehrere Klagen bzw. Klagedrohungen gegen AI-Anbieter, weil nicht klar ist, woher die Daten stammen, mit denen die Systeme trainiert wurden (z.B. Getty Images vs. Stability AI). Dass gerade ChatGPT strenge Regeln bekommen soll, war im Vorfeld bereits absehbar.

AI Act wird harte Regeln für ChatGPT und Co. bringen

Open Source von strengen Regeln ausgenommen

Was Sepp Hochreiter und zahlreiche weitere AI-Professor:innen freuen wird: Es soll Ausnahmen für Forschungstätigkeiten und KI-Komponenten, die unter Open-Source-Lizenzen zur Verfügung gestellt werden, geben. Im Vorfeld forderten Hochreiter und Co dies in einem offenen Brief an die EU-Parlamentarier:innen, mit der Begründung: Open Source hilft, die Abhängigkeit europäischer Unternehmen von den US-Anbietern zu verringern (mehr dazu hier). Außerdem soll es regulatorische Sandkästen („Regulatory Sandboxes“)geben, die von öffentlichen Behörden eingerichtet werden, um KI vor ihrem Einsatz zu testen.

„Wir stehen kurz davor, eine bahnbrechende Gesetzgebung auf den Weg zu bringen, die den Herausforderungen der Zeit standhalten muss. Es ist von entscheidender Bedeutung, das Vertrauen der Bürger in die Entwicklung der KI zu stärken, den europäischen Weg für den Umgang mit den außerordentlichen Veränderungen, die bereits stattfinden, vorzugeben und die politische Debatte über KI auf globaler Ebene zu lenken. Wir sind zuversichtlich, dass unser Text ein Gleichgewicht zwischen dem Schutz der Grundrechte und der Notwendigkeit herstellt, den Unternehmen Rechtssicherheit zu bieten und die Innovation in Europa zu fördern“, so Nach der Abstimmung sagte der EU-Abgeordnete Brando Benifei (S&D, Italien) und Co-Berichterstatter für den AI Act.

„Angesichts der tiefgreifenden Auswirkungen, die KI auf unsere Gesellschaft und Wirtschaft haben wird, ist das KI-Gesetz sehr wahrscheinlich der wichtigste Rechtsakt in diesem Mandat. Es ist der erste Rechtsakt dieser Art weltweit, was bedeutet, dass die EU eine Vorreiterrolle dabei spielen kann, KI menschenzentriert, vertrauenswürdig und sicher zu machen. Wir haben uns dafür eingesetzt, die KI-Innovation in Europa zu unterstützen und Startups, KMU und der Industrie Raum für Wachstum und Innovation zu geben und gleichzeitig die Grundrechte zu schützen, die demokratische Kontrolle zu stärken und ein ausgereiftes System der KI-Governance und -Durchsetzung zu gewährleisten“, heißt es auch seitens Mitberichterstatter Dragos Tudorache (Renew, Rumänien).

Bevor die Verhandlungen mit dem Rat über die endgültige Form des Gesetzes beginnen können, muss der Entwurf des Verhandlungsmandats vom gesamten Parlament gebilligt werden, wobei die Abstimmung voraussichtlich in der Sitzung vom 12. bis 15. Juni stattfinden wird.

AI Act: Open Source soll Abhängigkeit von AI-Systemen aus den USA bremsen