s1: Forscher:innen bauen konkurrenzfähiges AI-Modell um 50 Dollar
How low will this go? Ein Forscher-Team der Stanford University und der University of Washington haben eigenen Angaben zufolge ein bahnbrechendes KI-Modell entwickelt, das für weniger als 50 Dollar trainiert wurde und mit deutlich teureren Systemen wie OpenAI o1 oder DeepSeeks R1. Grundlage ist eine feinabgestimmte Version des Open-Source-Modells „Qwen2.5-32B-Instruct“, das dann in einem „Distillation“ genannten Prozess die Fähigkeiten von Googles neuestem Modell Gemini 2.0 quasi eingeimpft bekam.
Das als „s1“ bekannte Modell zeigt vergleichbare Leistungen wie teure Systeme von Tech-Giganten wie OpenAI und DeepSeek, besonders in den Bereichen Mathematik und Programmierung. Die Forscher:innen haben sowohl das Modell als auch den verwendeten Code auf GitHub öffentlich zugänglich gemacht.
Technische Details und Methodik
„Sprachmodelle mit starken Argumentationsfähigkeiten haben das Potenzial, die menschliche Produktivität erheblich zu steigern, von der Unterstützung bei komplexen Entscheidungen bis hin zu wissenschaftlichen Durchbrüchen. Jüngste Fortschritte im Bereich des schlussfolgernden Denkens, wie z. B. o1 von OpenAI und R1 von DeepSeek, sind jedoch intransparent, was den Fortschritt in der Forschung bremst“, heißt es seitens der Forscher:innen. „Unsere Arbeit zielt darauf ab, die Grenzen des schlussfolgernden Denkens in einer völlig offenen Art und Weise voranzutreiben und Innovation und Zusammenarbeit zu fördern, um Fortschritte zu beschleunigen, die letztendlich der Gesellschaft zugute kommen.“
Die Entwickler nutzten einen innovativen Ansatz namens „Distillation“, bei dem sie die Fähigkeiten des Google-Modells „Gemini 2.0 Flash Thinking Experimental“ einfach via API extrahierten. Mit nur 1.000 sorgfältig ausgewählten Fragen und deren Antworten konnte das Modell in weniger als 30 Minuten trainiert werden. Diese effiziente Methode unterscheidet sich deutlich von den Ressourcen-intensiven Ansätzen großer Tech-Unternehmen.
Auswirkungen auf die KI-Industrie
Diese Entwicklung stellt die aktuelle Struktur der KI-Industrie in Frage. Wenn ein kleines Forscherteam mit begrenzten Mitteln ähnliche Ergebnisse wie milliardenschwere Unternehmen erzielen kann, könnte dies weitreichende Folgen für den Markt haben. Große Tech-Unternehmen wie OpenAI haben bereits Bedenken geäußert und werfen Konkurrenten wie DeepSeek vor, ihre Daten unrechtmäßig zu nutzen.
Klar ist, dass solche Experimente um wenig Geld nur durch die Vorarbeit von Big Tech wie Google (Gemini 2.0 Flash Thinking Experimental) oder Alibaba Cloud (Qwen2.5-32B-Instruct) möglich sind. Sie stellen aber in Frage, wie verteidigbar die IP ist, die diese Konzerne um sehr viel Geld entwickelt haben.
