AI Act soll sämtliche Big Tech-KIs als Hochrisiko einstufen

In einem Dokument mit 144 Seiten, in dem der Begriff „High-risk“ öfter als „Artificial Intelligence“ (292 vs. 110) vorkommt, in dem geht es ganz klar um eines: Die Gefahren der Welle an AI-Systemen, die derzeit über die Welt hereinbricht, soll schnell wie möglich zu zähmen. Dafür soll der kommende AI Act der EU vor allem die AI-Systeme und Foundation Models (Basismodelle) von Big Tech in den regulatorischen Schwitzkasten nehmen.

Im Kompromisstext (konsolidierte Fassung 11.05.2023), auf den sich zwei wichtige Ausschüsse des EU-Parlaments am Donnerstag geeinigt haben, ist bereits nachzulesen, was da für den AI Act geplant ist. Neben Verboten für besonders gefährliche mögliche AI-Anwendungen wie biometrische Fernerkennungssysteme oder der Erkennung von Emotionen am Arbeitsplatz wird im AI Act auch definiert werden, was als Hochrisiko eingestuft wird – und damit besonders strengen Regeln unterworfen werden soll. Als Hochrisiko sollen (neben vielen anderen) gelten:

„AI systems intended to be used by social media platforms that have been designated as very large online platforms within the meaning of Article 33 of Regulation EU 2022/2065, in their recommender systems to recommend to the recipient of the service user-generated content available on the platform.“

Damit müssen sich ausnahmslos alle großen Big-Tech-Firmen aus den USA sowie Alibaba und TikTok aus China und Zalando aus Deutschland darauf gefasst machen, dass ihre AI-Systeme von der EU als Hochrisiko eingestuft werden. Konkret geht es darum, dass AI-Systeme als Hochrisiko gelten, wenn sie dazu eingesetzt werden, Nutzer:innen von Diensten nutzergenerierte Inhalte zu empfehlen, die auf der Plattform verfügbar sind. Das ist bei Social Media im engeren Sinne (Linkedin, Instagram, Snapchat, YouTube, TikTok) der Fall, aber auch auf Plattformen wie Google Maps, im Amazon Store oder in App Stores und Online-Shops (Amazon, Zalando) gibt es Nutzer-generierte Inhalte in Form von Rezensionen.

Laut EU-Definition sind Social-Media-Plattformen mit mehr als 45 Millionen Nutzern gemäß dem Gesetz über digitale Dienste also Hochrisiko. Diese 17 „Very Large Online Platforms“ (VLOPs) sind (also „Very Large Search Engines“ gelten Google Search und Bing):

• AliExpress
• Amazon Store
• Apple App Store
• Booking
• Facebook
• Google Maps
• Google Play
• Google Shopping
• Instagram
• LinkedIn
• Pinterest
• Snapchat
• TikTok
• Twitter
• Wikipedia
• YouTube
• Zalando

AI Act mit harten Regeln für GPT und Ausnahmen für Open Source nimmt wichtige Hürde

Grundsätzlich sieht der AI Act, wie ihn sich die EU-Parlamentarier:innen vorstellen, vor, dass AI-Systeme als Hochrisikobereiche eingestuft werden,  wenn sie potenziell Gesundheit, Sicherheit, Grundrechte oder Umwelt erweitert gefährden können. Das ist eine sehr weite Definition von Hochrisiko. Das sind folgende Bereiche:

1. Biometrische Systeme: KI-Systeme, die zur biometrischen Identifizierung natürlicher Personen eingesetzt werden sollen, und KI-Systeme, die dazu dienen, Rückschlüsse auf die Person zu ziehen, einschließlich Emotionserkennungssystemen
2. Betrieb von kritischer Infrastruktur: KI-Systeme, die als Sicherheitskomponenten für den Betrieb des Straßen-, Schienen- und Luftverkehrs oder der Versorgung mit Wasser, Gas, Heizung, Strom und kritischer digitaler Infrastruktur verwendet werden
3. Im Bildungswesen: KI-Systeme, die den Zugang zum Bildungssystem bestimmen oder mitbestimmen, die Personen bei Prüfungen bewerten oder erheblichen Einfluss auf das Bildungs- und Ausbildungsniveau, das Einzelpersonen erhalten, haben: auch die Überwachung von verbotenem Verhalten von Schüler:innen während Prüfungen ist als hoher Risiko einzustufen
4. Am Arbeitsmarkt: AI-Systeme, die wesentlich Entscheidungen über Jobs beeinflussen, insbesondere die Schaltung gezielter Stellenanzeigen, das Filtern von Bewerbungen, die Bewertung von Kandidat:innen, sowie Systeme, die über Beförderungen entscheiden oder die die Arbeitsleistung von Mitarbeiter:innen bewerten
5. Zugang zu privaten und öffentlichen Dienstleistungen: KI-Systeme, die den Anspruch von Menschen auf öffentliche Unterstützung, Leistungen und Dienstleistungen, einschließlich Gesundheitsdienstleistungen und wesentliche Dienstleistungen wie Wohnen, Strom, Heizung/Kühlung und Internet, evaluieren; KI-Systeme, die die Kreditwürdigkeit von Menschen ermitteln sollen (Ausnahme: Betrugsbekämpfung); KI-Systeme im Bereich von Kranken- und Lebensversicherungen; Einsatz von KI bei Notrufen, wo etwa automatisiert entschieden werden könnte, ob Erste Hilfe, Polizei oder Feuerwehr geschickt werden soll, sowie der Einsatz in Triage-Systemen für Notfallpatient:innen
6. Strafverfolgung: KI-Systeme, die Ermittlungsbehörden bei der Beurteilung der Zuverlässigkeit von Beweismitteln bei Ermittlungen oder Strafverfolgung von Straftaten unterstützen (AI zur Erkennung von Deep Fakes oder Risk Assessment ausgenommen); Einsatz bei Aufdeckung, Aufklärung oder Verfolgung von Straftaten,; Verwendung in Kriminalanalysen, um Muster oder versteckte Beziehungen zu erkennen 
7. Migration, Asyl und Grenzschutz: KI-Systeme im Einsatz bei der Grenzkontrolle; bei Voraussagen zu Migrationsbewegungen, Einschätzung der Richtigkeit der Beweise in Bezug auf Asyl- und Visumanträge und Aufenthaltsgenehmigungen; Bewertung der Authentizität von Reisedokumenten; Einschätzung von Risiken bei irregulärer Einwanderung oder bei Gesundheitsrisiken
8. Justizsystem: KI-Systeme zur Erforschung und Interpretation von Fakten und Gesetzen und bei der Anwendung des Gesetzes auf einen konkreten Sachverhalt oder eine ähnliche Verwendung in der alternativen Streitbeilegung (Ausnahme für Steuer- und Zollbehörden zur Verhinderung, Aufdeckung, Untersuchung und Verfolgung von Straftaten)
9. In demokratischen Prozessen: KI-Systeme, die dazu dienen sollen, den Ausgang einer Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen bei der Ausübung ihrer Stimme bei Wahlen oder Referenden zu beeinflussen, sollten als Hochrisiko eingestuft werden (Ausnahme von KI-Systemen, deren Ergebnisse natürlichen Personen nicht direkt ausgesetzt sind, wie etwa Tools zur Organisation, Optimierung und Strukturierung politischer Kampagnen aus administrativer und logistischer Sicht)
10. Social-Media-Plattformen: KI-Systeme, die von Social-Media-Plattformen in ihre Empfehlungssystemen genutzt werden sollen, um den Usern des Dienstes nutzergenerierte Inhalte zu empfehlen (siehe oben)

Hohe Auflagen für Hochrisiko-AI

Hochrisiko-AI bedeutet nicht, dass Unternehmen diese nicht in der EU anbieten oder einsetzen dürften, allerdings müssen sie dafür vorher hohe Auflagen erfüllen. Sowohl die als Hochrisiko eingestuften AI-Systeme als auch die Foundation Models (also z.B. PaLM, GPT) müssen in einer Datenbank der EU-Kommission registriert werden, und sie müssen sich sogar die CE-Kennzeichnung holen, die Endnutzer:innen Auskunft geben, dass ein Produkt oder Service konform mit allen EU-weiten Anforderungen ist.

Außerdem müssen sie eine menschliche Aufsicht über die hochriskanten KI-Systeme installieren, relevante und angemessene Robustheits- und Cybersicherheits-Maßnahmen regelmäßig auf ihre Wirksamkeit überprüfen, im Detail dokumentieren, mit welchen Daten trainiert wurde, und welche Änderungen es bei den Systemen gibt. Weiters müssen der Energieverbrauch des AI-Systems dokumentiert und Privatsphäre- und Datenschutzregeln der EU eingehalten werden. Werden die vielfältigen Regeln nicht eingehalten, riskieren Unternehmen Geldbußen in Höhe von bis zu 20 Millionen Euro oder bis zu 4 % des gesamten weltweiten Jahresumsatzes im vorangegangenen Geschäftsjahr belegt – je nachdem, welcher Betrag höher ist.