Was der AI Act für Startups, die mit GPT-4 und Co arbeiten, bedeutet
Am Wochenende hat sich Brüssel zu einer (fast) finalen Version des AI Acts geeinigt, der ab 2026 regeln wird, das in Sachen Künstliche Intelligenz in der EU möglich sein wird, aber auch, was verboten sein wird. Die AI-Anwältin Jeannette Gorzala, die vor Ort in Brüssel hautnah bei den letzten Verhandlungen dabei war, gibt heute im Interview detaillierten Einblick, was der AI Act insbesondere für Startups wie OpenAI, Mistral AI, Aleph Alpha und jene, die Foundation Models wie GPT-4 oder Gemini in ihre Services verbauen, bedeuten wird.
Trending Topics: Es war ja eine nicht einfache Geburt für diese KI-Verordnung. Was bringt sie jetzt unterm Strich?
Jeannette Gorzala: Ich glaube schon, dass der AI-Act eine große Chance ist. Was bei all den Regulierungsdebatten vergessen wird, ist, dass der AI-Act auch innovationsfördernde Maßnahmen beinhaltet, nämlich das Thema AI-Sandboxing, aber neu im Deal auch die Möglichkeit, gerade bei den High-Risk-Use-Cases diese auszutesten, natürlich mit entsprechenden Vorkehrungen, aber unter Echtzeit und echt weltlichen Bedingungen. Zusätzlich der Schutz von kleineren Unternehmen, also Startups und KMUs im Größenverhältnis. Immer da, wo zwei Player beteiligt sind, die ungleich unternehmerisch groß sind, gibt es bestimmte Verbote für unfaire Vertragspraktiken und last but not least auch beim Thema Sanktionen und Strafen, die Berücksichtigung der Unternehmensgröße.
Man kommt auch hier Startups und KMUs entgegen, indem es einen Strafdeckel angepasst auf deren Unternehmensgröße gibt, die natürlich bei den beachtlichen Strafen gemäß dem AI Act sehr, sehr entgegenkommen sind. Vor dem Hintergrund glaube ich, dass der AI-Act durchaus innovationsfördernde Impulse geben kann. Mit dem AI Act haben wir einen europäischen KI-Binnenmarkt, einheitliche Regelungen in der gesamten EU. Es wird einfacher, seine Produkte in den Markt zu bringen, ohne zusätzliche regulatorische Hürden, was extrem attraktiv ist, weil es gerade in Europa einen großen Bedarf an KI-Lösungen entwickelt in Europa gibt. Laut einer Studie von Adesso sagen mehr als zwei Drittel der Führungskräfte: Wenn es eine europäische Lösung gäbe, würde man die bevorzugen. Und gerade da sehe ich auch eine große Chance, die der AI Act nun ermöglicht.
Welche KI-Anwendungen sind künftig verboten?
Wir haben den finalen Text noch nicht. Das heißt, wir können jetzt nochmal nur von den Grundsätzen sprechen. Am finalen Text wird sich dann entscheiden, wie stark diese Verbote wirklich sind und welche Ausnahmen es da gibt. Welche Bereiche gehören zu den verbotenen KI-Anwendungen? Das Thema Social Scoring, das wir schon oft besprochen haben, aber auch die Themen Predictive Policing, Emotionserkennung am Arbeitsplatz, die Kategorisierung von Menschen mittels KI und die biometrische Identifizierung für Rechtsverfolgungszwecke in öffentlichen Orten. Dieser Verbotskatalog ist sehr dem angelehnt, was das Europäische Parlament in seiner Position zum EI-Act vorgeschlagen hat.
Man will da grundlegend verhindern, dass Massenüberwachung mithilfe von EI stattfinden kann?
Ich würde das als das grundsätzliche Ziel beschreiben. Wie stark diese Verbote sind, werden wir sehen, denn es gibt nämlich auch Ausnahmen für Rechtsverfolgungszwecke. Hier wird sich zeigen, wie diese Ausnahmen gestaltet sind, nämlich wie vielgliedrig sie sind und wie viele Löcher dann tatsächlich in diesem Verbotskatalog enthalten sind. Das Ziel ist es hier, die fundamentalen Rechte und Grundrechte zu schützen, so weit wie möglich, aber es war natürlich auch ein sehr starkes Anliegen von manchen Nationalstaaten, KI-Technologie für Sicherheitszwecke einzusetzen, nämlich gerade zur Abwehr von terroristischen Angriffen, um Verdächtige zu suchen, aber auch Biometrie einzusetzen und beispielsweise Opfer zu suchen. Gerade da hat man diese zwei starken entgegengesetzten Interessenpunkte versucht zusammenzubringen. Es ist gelungen, aber wir müssen schon damit rechnen, dass es Ausnahmen im Bereich Biometrie zu Rechtsverfolgungszwecken an öffentlichen Orten geben wird.
Es gibt nicht nur verbotene AI, sondern auch Hochrisiko-AI. Diese Anwendungen sind nicht verboten, aber haben hohe Auflagen, um stattfinden zu dürfen. Um was handelt es sich da jetzt konkret?
Auch bei den Hochrisiko-KI-Systemen sehen wir, dass die Verpflichtungen sehr, sehr ähnlich sind zu den Texten, die wir kennen. Das heißt, Risikomanagement, Datenqualität und Datengovernance, Activity Logging, Dokumentation, klare Nutzerinformation und vor allem menschliche Übersicht, zusätzlich zu den Themen Robustheit, Genauigkeit und Cybersecurity. Welche Bereiche betrifft das? Auch die kennen wir schon, nämlich kritische Infrastruktur, beispielsweise im Bereich Wasser, Gas und Elektrizität; da, wo es um Zutritt zur Bildung geht; beim Recruiting, also KI-Systemen im Personalbereich; in der Rechtsdurchsetzung, der Migrationsgrenzkontrolle im Justizbereich, im biometrischen Bereich, nämlich überall dort, wo es außerhalb der Rechtsverfolgung an öffentlichen Orten um Kategorisierung und Zutrittskontrollsystemen geht. Aber auch das Thema Banken und Versicherungen, Kredit- und Bonitätsscoring, beziehungsweise bestimmte Bereiche in der Lebens- und Gesundheitsversicherung.
Neu ist das Thema demokratische Prozesse. Hier wissen wir auf Grundlage des mangelnden Textes nichts Genaueres, aber auch hier war der Vorschlag, KI-Systeme, die im Kontext von Wahlen zur Meinungsbeeinflussung eingesetzt werden, in den Hochrisikobereich mit reinzunehmen. Nach den ersten Stellungnahmen dürfte das Teil des politischen Deals sein.
AI Act: The Good, the Bad & The Ugly – mit AI-Anwältin Jeannette Gorzala
Ist ChatGPT künftig Hochrisiko oder nicht, kann man das jetzt schon sagen?
ChatGPT würde ich im Bereich General-Purpose-AI-Foundation-Modelle (GPAIs) sehen. Das spielt sich neben der Risikopyramide, die wir kennen, ab und nicht in diesen vier Risikostufen, Verboten, Hochrisiko, Transparenz und frei, sondern es gibt einen separaten Regelungsblock für General-Purpose-AI-Models. Bei diesem separaten Regelungsblock gibt es ein Zwei-Stufen-System. Man möchte hier künftig unterscheiden in generelle General-Purpose-AI-Modelle und General-Purpose-AI-Modelle, die mit einem systemischen Risiko verbunden sind. In der niedrigen Standardkategorie soll es Dokumentationsverpflichtungen geben, nämlich einerseits intern für das Modell und andererseits die Verpflichtung, eine bestimmte Dokumentation KI-Systemen und Unternehmer:innen zur Verfügung zu stellen, die darauf aufbauen. Zusätzlich dazu das hochumstrittene Thema Copyrights. Hier hat man sich im voraussichtlichen Deal darauf geeinigt, dass es eine Zusammenfassung des Contents geben soll, der in dieses Modell zum Training hineingeflossen ist, basierend auf einem Template, das dann von dem einzurichtenden AI-Office zur Verfügung gestellt wird und dass sämtlicher Content, der durch diese Tools erstellt wird, also der Output, maschinell gekennzeichnet werden soll.
Darauf aufbauend soll es in der zweiten Stufe Modelle mit signifikantem Risiko zusätzliche Verpflichtungen geben. Das betrifft das Thema Cybersecurity, aber interessanterweise auch das Thema Umweltmonitoring zum CO2-Verbrauch und weitere Verpflichtungen.
Wie unterscheidet man jetzt zwischen diesen zwei Modellen, beziehungsweise wann rutscht man von Kategorie 1 in die systemische Risikokategorie 2?
Alle Modelle, die mit einer Compute Power von 10 hoch 25 oder größer trainiert wurden, sollen zunächst einmal in dieser Kategorie 2 zu erfassen, aber es sollen parallel sinnvolle Tools und Benchmarks entwickelt werden, um hier diese Abgrenzung noch besser möglich zu machen. Wir haben das als European AI Forum, das sehr stark an diesem Gesetzgebungsprozess beteiligt war, sehr, sehr stark kritisiert. Warum? Weil dieser technische Wert sehr, sehr leicht zu umgehen ist, obwohl ich vielleicht systemisches Risiko hätte. Und der Trend geht in eine ganz andere Richtung, nämlich in die Richtung kleinere, spezialisiertere Modelle, die dann vielleicht extrem relevant sind für ihren Industriebereich, aber diese mathematische Schwelle nie erreichen. Diese Trennung anhand dieser technischen Komponente, sehen wir sehr kritisch. Wir bauen aber sehr, sehr stark darauf, dass mit Transparenz, die nun verpflichtend ist, die Aufsichtsbehörden und Stakeholder sinnvolle Metriken entwickeln können, um hier tatsächlich systemisches Risiko zu identifizieren und nicht nur auf mathematische Parameter zu schauen.
10 hoch 25 Flops, also Rechenoperationen pro Sekunde, erreichen wenige AI-Modelle. Wahrscheinlich gehört GPT-4 von OpenAI dazu, Gemini von Google oder Inflection 2 von Inflection AI. Damit sind eigentlich nur die ganz, ganz großen führenden AI-Modelle betroffen?
Genau, das ist jetzt unsere erste Einschätzung, dass das so zutrifft. Wir ja bei vielen Modellen nicht genau, wie viel da reingeflossen ist. Aktuell ist auch unsere Einschätzung, dass das eigentlich hauptsächlich die nicht-europäischen Player betrifft, was in dem Sinne ja auch nicht schlecht ist, weil dann haben wir mehr Transparenz, können mehr über diese Modelle lernen und auch die europäischen Player können entsprechend nachziehen.
Es gibt wahrscheinlich nur ganz wenige Firmen, die selbst so General-Purpose-AI-Modelle anbieten können. In Europa kennen wir Mistral AI oder Aleph Alpha. Viele, viele andere Firmen werden auf den AI-Modellen dieser oder anderer Anbieter aufbauen. Welche Regeln bekommen die?
Das hängt vom Use-Case ab. Wenn ich ein Grundlagenmodell verwende, nehmen wir GPT-4 oder Gemini, was ganz, ganz neu ist, und ich entwickle basierend darauf einen Use-Case im Medizin-, Finanzbereich oder Versicherungsbereich oder als Sicherheitskomponente, da wäre man schon im Hochrisikobereich. Es macht mir aber einfacher, diese Compliance zu erfüllen, weil der Anbieter, also in dem Fall OpenAI, bei GPT-4 verpflichtet ist, mir die Grundlage dafür zur Verfügung zu stellen. Das haben wir in dem Ausmaß nämlich aktuell nicht. Alle, die aktuell High-Risk-Use-Cases basierend auf diesen Modellen entwickeln, haben ein Problem, dass sie nicht genug wissen, um das entsprechend umzusetzen. Das beseitigt der AI-Act.
Die Entwickler von kleineren Foundation-Models, die weniger Rechenleistung brauchen, da zählen wir schon hier die Europäer dazu, werden nicht so hart in die Pflicht genommen, wie es vielleicht manche befürchtet haben?
Absolut. Natürlich hat das Thema Copyrights der Industrie nicht gefallen, dass man diese Zusammenfassung publizieren muss, weil es natürlich sehr, sehr schwierig ist, da genau zu trennen, von wo man das Copyrighted Material hat, weil es ja von Webseite zu Webseite sich weiterzieht. Diese Sorge, glaube ich, wird hoffentlich das Template adressieren, das seitens des AI-Office erarbeitet werden soll. Im Grunde sehen sich, glaube ich, alle Player momentan nicht im Bereich des systemischen Risikos. Eine wichtige und unbekannte Komponente, die momentan Sorgen bereitet, ist natürlich die Entwicklung der anderen Parameter, weil wir wissen momentan nicht, wie diese Parameter entwickelt werden, werden aber als Stakeholder natürlich in diesen Prozess mit eingebunden werden und dort die Industrie vertreten, um da zu schauen, dass es da auch genug Klarheit und Vorhersehbarkeit gibt, dass, wenn ein europäischer Anbieter drunter fällt, es Verpflichtungen sind, die erfüllt werden können und nämlich auch in einem zeitlich entsprechenden Rahmen. Das heißt, dass es da auch genug Übergangsfristen und Klarheit gibt.
Es gab eigentlich im Sommer schon den Beschluss des EU-Parlaments zum AI Act. Da dachte man, jetzt ist alles klar. Jetzt kam der Trilog in der EU, der nochmal nachverhandelte. Jetzt dachte man, jetzt ist alles klar, aber jetzt fehlen immer noch wichtige Parameter. Wann ist denn das Ding dann endlich fertig aus deiner Sicht?
Der Prozess ist durchaus ein etwas längerer, aber wir haben mit diesem Ergebnis eigentlich schon gerechnet, dass es nämlich, ob all diese offenen Punkte zunächst zu einer politischen Einigung kommt und dass jetzt der Text nachgezogen wird in technischen Meetings. Wir rechnen damit, dass der Text bis Anfang Q1 2024 steht und dann kommt eine zweijährige Übergangsfrist, bis der AI Act final scharfgestellt wird, also ist er quasi in Summe fully enforceable im Q1 2026. Es gibt jetzt dieses High-Level politische Agreement, wo noch viel Nacharbeit hinter dem Kulissen ist.
Im Vorfeld dieser Trilogverhandlungen gab es laute Stimmen aus der europäischen Industrie, von Investoren, von Scale-Ups, die gesagt haben, bitte, bitte macht keine Verbote und keine Hochrisikoeinstufungen, sondern gebt uns lieber eine Selbstregulierung, weil wir sonst hinter USA, China und so weiter zurückfallen könnten, wenn es zu strenge Regeln gibt. Das ist jetzt aber schon gekommen. Ist das eine Niederlage für die Startups und VCs, die eigentlich was anderes sich erträumt haben?
Das Stichwort ist „erträumt“ und du spielst wahrscheinlich auf dieses Non-Paper an für verpflichtende Selbstregulierung, das in sich ein Paradoxon ist. Das wäre, als würde man den Fuchs den Hühnerstall gestalten lassen. Dieser Ansatz wurde von der überwiegenden Industrie nicht befürwortet, die europäische KMU-Alliance hat sich deutlich dagegen ausgesprochen.
Warum?
Weil es dann Player am Markt geben hätte, die sich de facto richten können, und vertrauenswürdige Player haben mehr Kosten und sind nicht unterscheidbar, beziehungsweise ist es ja auch kein Gefallen an die Industrie. Warum? Wir reden jetzt sehr viel über den AI-Act, wir haben jetzt das politische Agreement. Der AI-Act ist eine Qualitätsregelung für KI. Das, was man parallel mit dem zweiten Auge betrachten muss, ist das Thema KI-Haftung. Ich würde es allen extrem ans Herz legen, weil auch hier laufen die Prozesse weiter und sind eigentlich durch den spannenden Prozess zum AI-Act und jetzt durch die Euphorie abgelenkt davon, dass sich auch hier das Thema Softwarehaftung weiter bewegt. Es ist im ureigensten Interesse, hier entsprechende Regeln zu schaffen, bei denen man als Anbieter sagen kann: Ich habe mein Produkt compliant gestaltet, dementsprechend habe ich nach State of Art alles getan und mich soll die Haftung dementsprechend auch nicht so hart treffen.
Dieses Nichtregulierungsthema war eigentlich, glaube ich, von der überwiegenden KI-Industrie und den überwiegenden Startups gar nicht gewünscht und hätte, glaube ich, wenig zur Rechtssicherheit und Klarheit am Markt und auch wenig zum Risikomanagement beigetragen.
Ein Sieg scheint es für jene zu sein, die viel Wert auf Urheberrecht, Copyright legen. Siehst du das als Sieg für das Copyright?
Ich sehe es als ein Win für Transparenz und Fairness, nämlich transparent darzulegen, was habe ich verwendet. Das Thema Copyright ist, glaube ich, eines, das uns in Zukunft noch sehr, sehr stark beschäftigen wird. Der menschlichen Urheber, das Schöpferprinzip, ist natürlich schwierig vom Prompting abzugrenzen, Hier wird es noch einige Bewegungen geben, und einen Sieg für das Copyright-Thema würde ich jetzt so früh nicht ausrufen wollen.
Warum?
In einer von diesen Preliminary-Einigungen im Trilog gab es eine Ausnahme für Model-Provider, hinaus zu optieren. Ob das im finalen Text drinnen sein wird, wissen wir nicht, aber wenn das kommt, dann wäre es wahrscheinlich kein Sieg für die Copyright-Industrie, weil dann müsste es diese verpflichtende Publikation der Trainingsdaten nicht geben.
Noch eine Frage zum Thema Open Source. Das ist ja auch ein wichtiger Trend, gerade bei AI. Wie sieht es damit aus? Ist Open Source anders behandelt als proprietäre Modelle wie GPT-4 oder Gemini von Google?
Auch da ist noch nicht aller Tage Abend, weil diese Ausnahme zu Transparenz und Lizenzierung auch Open Source betrifft. Wenn diese Ausnahme tatsächlich kommt, ist es ein Gewinn für die Open Source-Industrie. Ansonsten würde die Open Source-Industrie in genau das gleiche Regime fallen wie alle anderen General-Purpose-AI-Modelle, also den Standardverpflichtungen und dann vielleicht welche mit systemischem Risiko. Die Verpflichtungen für Standardmodelle sehe ich nicht kritisch, weil es sowieso inhärent der Open Source-Community ist, diese Dokumentation zur Verfügung zu stellen für alle, die danach damit arbeiten wollen. Im Grunde ist der AI-Act auch sehr vorteilhaft für die Open Source-Industrie und umso vorteilhafter, wenn diese Verpflichtung nicht kommt.
In den USA gibt es eine Executive Order von US-Präsident Biden, was AI angeht. Da gibt es eher Handlungsempfehlungen und keine expliziten Verbote. In der EU gibt es explizite Verbote, explizite Hochrisikosysteme. Wie stehen wir da im Vergleich zu den USA da? Es scheint, dass in den USA einfach viel, viel mehr gehen wird. Die Entwicklung von AI wird dort wahrscheinlich viel stärker, viel schneller vorangehen, oder?
Die Executive Order des Präsidenten Biden ist, wie du sagst, mehr eine Handlungsempfehlung und adressiert zwei wichtige Punkte, die wir in der EU ergänzend zum AI Act noch als Hausaufgaben haben. Das eine Thema ist Talente, nämlich Talente zu fördern, Talente zu halten und neue Talente ins Land zu bringen. Das ist eines der expliziten Punkte in der Executive Order von Präsident Biden. Wie bringen wir noch mehr KI-Talent nach Amerika? Europa hat gerade das Problem, dass wir extrem gut ausgebildete Forscher:innen, KI-Entwickler:innen haben, aber laut einer neuen Studie 27 Prozent dieses Talents in die USA abwandert und 11 Prozent im Rahmen eines Auslandsaufenthaltes in den USA gar nicht mehr zurückkommen. Da ist eine Stellschraube, da müssen wir ansetzen, damit KI in Zukunft in Europa entwickelt wird.
Der zweite wichtige Punkt, der auch im Executive Order von Biden adressiert wird und den wir zusätzlich als Hausaufgabe zum AI Act haben, ist Funding. Nämlich natürlich haben wir großes öffentliches Funding in der Europäischen Union und in Österreich, aber es geht um privates Funding, das hier bei uns noch weit hinter dem zurück ist, was in den USA in KI und insbesondere diese großen KI-Modelle investiert wird. Das private Funding ist von 2022 auf 2023 in der EU in europäische Projekte sogar zurückgegangen. Das ist in dem State of AI Report beispielsweise sehr, sehr gut erhoben. Das müssen wir zusätzlich flankierend noch zum AI Act machen, um Talente in Europa und gute KI-Produkte in Europa wirklich large scale und erfolgreich entwickeln zu können und Europa zu einem AI Powerhouse zu machen.
Die Executive Order von Biden adressiert bestimmte Punkte, ist aber auch in Zusammenschau mit dem AI Bill of Rights zu sehen, der ziemlich deckungsgleich ist mit dem AI Act. Es ist halt eine Guideline, eine Empfehlung, nicht exekutierbar wie der AI Act, aber globale Standards werden sich etablieren, die genau die gleichen Anforderungen oder ziemlich harmonisierte Anforderungen in diesem Dreieck US, UK und Europa. Wie immer in der Wirtschaft, wird der Markt entscheiden, und der Markt, nämlich der Europäische, möchte gerne europäische KI-Lösungen. Es ist ein riesiger Bedarf da und if you can make it in Europe, you can make it anywhere. Das heißt, ein Produkt hier zu entwickeln, wird so ziemlich überall hin exportfähig sein. Das heißt aus meiner Sicht auch eine Exportchance.
Staatssekretär Tursky präsentiert neue AI-Servicestelle und Advisory Board
