AI: Google hat nicht vor ChatGPT Angst, sondern vor Open Source

Google und Microsoft liefern sich den großen Krieg an der Front, dahinter laufen Meta und Amazon warm, während der Rest der digitalen Welt abgehängt wird: So könnte man derzeit das AI-Rennen von Big Tech um möglichst große Marktanteile bei der neuen Technologie sehen. Doch ist es wirklich so, dass sich Google vor allem vor dem enormen Erfolg von ChatGPT und der Allianz zwischen OpenAI und Microsoft fürchtet?

Wei gefehlt. Denn aus einem internen Memo eines leitenden Google-Entwicklers mit dem Titel „We Have No Moat, And Neither Does OpenAI“ geht hervor, woher die Disruption bei Künstlicher Intelligenz wirklich herkommen kann: Aus der Open Source-Community, und nicht aus den Laboren von Big Tech. Denn auch wenn Derzeit Google mit PaLM (Basismodell für „Bard“) und OpenAI/Microsoft mit GPT-4 (Basismodell für ChatGPT, Bing Chat) derzeit permanent diskutiert werden, schreiten die Erfolge von Open Source schnell voran.

„Die Einstiegshürde für Ausbildung und Experimente ist von der Gesamtleistung einer großen Forschungseinrichtung auf eine Person, einen Abend und einen leistungsstarken Laptop gesunken“, heißt es in dem Google-Memo. „Unsere Modelle haben zwar immer noch einen leichten Qualitätsvorsprung, aber die Lücke wird erstaunlich schnell geschlossen. Open-Source-Modelle sind schneller, besser anpassbar, privater und leistungsfähiger. Sie können mit 100 Dollar und 13 Milliarden Parametern Dinge tun, mit denen wir uns bei 10 Millionen Dollar und 540 Milliarden schwer tun.“

Stability AI läuft Dall-E davon

Ein erstes Beispiel ist etwa LLaMA der Facebook-Mutter Meta, das Anfang März 2023 in die digitale Freiheit entkam und dann sofort von findigen Entwickler:innen (übrigens auch in Österreich) gleich einmal eingesetzt wurde, um damit eigene Anwendungen zu trainieren. Und obwohl LLaMA „nur“ auf 7 Milliarden Parametern basiert, konnten Forscher:innen mit dem Open-Source-Code schnell ähnliche Ergebnisse erzielen wie ChatGPT von OpenAI (das entgegen dem Firmennamen nicht viel mit Open Source zu tun hat).

Ein weiteres Beispiel des Erfolg von Open Source im relativ jungen AI-Bereich ist Stable Diffusion, der Bildgenerator von Stability AI. Gemessen an Google-Suchanfragen, hat Stable Diffusion nach seiner Veröffentlichung sehr schnell den vormaligen Vorreiter Dall-E von OpenAI überholt (SD = Blau, Dall-E = Rot):

Parallel dazu ist eine wahre Explosion von immer neuen Open-Source-Modellen am Markt zu beobachten. Hier einige Beispiele:

• StableLM von Stability AI
• Dolly von Databricks
• HuggingChat von HuggingFace
• LLaMA von Meta
• Bloom von BigScience
• GPT-J von EleutherAI
• (und einige mehr)

Findige Open-Source-Entwickler:innen nutzen nun diese Modelle, um ihnen den notwendigen Feinschliff für spezifische Anwendungszwecke zu verpassen. Hier gibt es Anleitungen bzw. Code, wie man sich an einem Abend eine personalisierte AI zusammenbaut (alpaca-lora) oder wie man LLaMA auf einem Pixel-6-Smartphone laufen lassen kann. Es wurde auch gezeigt, dass man keine riesigen Cloud-Rechenzentren braucht, um LLMs zu trainieren, sondern Laptops ohne starke Grafikkarten und sogar die Minicomputer Raspberry Pi. Dazu werden folgende Techniken bzw. Strategien eingesetzt:

• Instruction Tuning: Ein Prozess der Feinabstimmung eines Sprachmodells, damit es etwas Bestimmtes tut, für das es ursprünglich nicht trainiert wurde
• Reinforcement Learning from Human Feedback (RLHF): So genanntes Verstärkungslernen durch menschliches Feedback; Menschen bewerten die Ausgaben eines Sprachmodells, damit das Modell lernt, welche Ausgaben für Menschen zufriedenstellend sind.
• Low-Rank Adaptation of Large Language Models (LoRA): ein Trainingsverfahren für Large Language Models, das auf der Idee der Selbstüberwachung basiert; es ermöglicht dem Modell, durch die Kontrolle seiner eigenen Vorhersagen natürlichere Texte zu generieren.

EU will Open Source pushen

Aber nicht nur technisch, sondern auch regulatorisch, soll Open Source im AI-Bereich einen ordentlichen Booster bekommen. Denn während die Foundation Models von Google, Microsoft und Co. vom kommenden AI Act der EU voraussichtlich als Hochrisiko (mit entsprechend hohen Auflagen) eingestuft werden, soll es Ausnahmen für Open Source geben. Konkret heißt es im vorliegenden Vorschlag, der noch im Juni 2023 vom EU-Parlament abgesegnet werden muss:

„Software and data that are openly shared and where users can freely access, use, modify and redistribute them or modified versions thereof, can contribute to research and innovation in the market. Research by the European Commission also shows that free and open-source software can contribute between €65 billion to €95 billion to the European Union’s GDP and that it can provide significant growth opportunities for the European economy. Users are allowed to run, copy, distribute, study, change and improve software and data, including models by way of free and open-source licences. To foster the development and deployment of AI, especially by SMEs, start-ups, academic research but also by individuals, this Regulation should not apply to such free and open-source AI components except to the extent that they are placed on the market or put into service by a provider as part of a high-risk AI system or of an AI system that falls under Title II or IV of this Regulation.“

So sieht es also – Stand heute – so aus: Während Google, Microsoft und Co. hohe Auflagen erfüllen müssen, um Bard, ChatGPT und Co in Europa anbieten zu können, werden sich kleine Firmen und Startups den Open-Source-Modellen bedienen können, um sie für ihre Zwecke einzusetzen.