Magic: 100 Millionen Token Kontextfenster kommt Revolution der AI-Modelle gleich

Es war die Nachricht des Donnerstag Abend. Und zwar, zumindest aus Sicht des in Wien gegründeten Startups Magic, nicht die 320 Millionen Dollar, die der ehemalige Google-CEO Eric Schmidt gemeinsam mit anderen renommierten Geldgebern investierten. Sondern eine andere, ähnlich große Zahl. Nämlich die 100 Millionen. magic, gegründet von Eric Steinberger (CEO) und Sebastian De Ro (CTO) haben ein neues, hauseigenes AI-Modell namens LTM-2 mini (kurz für Long-Term Memory) vorgestellt, dass ein Kontextfenster von unglaublichen 100 Millionen Token hat. Das schlägt alles bisher dagewesene.

Zur Veranschaulichung: Die Kontextfenster von AI-Modellen sind so etwas wie ihr Kurzzeitgedächtnis, das nur eine begrenzte Menge an Text auf einmal behalten kann. Wenn der Text länger ist als das Kontextfenster, vergisst das Modell den Anfang, ähnlich wie wenn man einen langen Text liest und sich nur an die letzten paar Sätze erinnert. Das Kontextfenster bestimmt also, wie viel Text das Modell gleichzeitig “verstehen” und verarbeiten kann. Magic behauptet, dass LTM-2 mini auf einmal 10 Millionen Codezeilen oder  ungefähr 750 Romane verarbeiten könne – also mit ganzen (Code)-Bibliotheken auf einmal gefüttert werden kann.

50x größer als Gemini, 780x größer als GPT-4o

Das ist sehr sehr viel. Bisher führte eigentlich Magic selbst das Feld der AI-Modelle in Sachen Kontextfenster an – wie berichtet war bereits LTM-1 von Magic mit einem Kontextfenster von 5 Millionen Token allen anderen am Markt deutlich überlegen. Google hat seinem aktuell stärkstem AI-Modell Gemini 1.5 Pro ein Kontextfenster von bis zu 2 Millionen Token gegeben, für die man aber extra bezahlen muss. Am Markt hat sich bisweilen ein Spektrum von Kontextfenstern von 128.000 (GPT-4o von OpenAI) bis 200.000 (Claude Sonnet 3.5 von Anthropic) etabliert.

Seitens Anthropic hieß es etwa beim Launch von Claude 2.1, das bereits mit 200.000 Token ausgestattet wurde, dass dieses Kontextfenster groß genug sei, um gleichzeitig 500 Seiten an Informationen einzufüttern – also beispielsweise ein dickes Buch auf einmal. Magics LTM-2 mini ist um das 500-fache größer, und kann damit auch glaubhaft behaupten, gleichzeitig 750 Romane aufnehmen zu können. Das wirft dann auch die Frage auf: Was wird ein etwaiges „LTM-2 Large“ oder dergleichen auf die Waage werfen?

Klar ist, dass Magic es in der Praxis noch beweisen wird müssen, solch immense Kontextfenster anzubieten. Die Beschränkung vieler anderer AI-Modelle auf viel kleinere Context Windows hat preisliche Gründe. Bei GPT-4 oder Gemini 1.5 wäre es viel zu teuer für den Anwender, Inputs mit 100 Millionen Token einzufüttern, die Kosten würden bei OpenAIs Topmodell GPT-4o derzeit bei 500 Dollar nur für den Input liegen, vom Output (der stets teurer ist) ganz zu schweigen.

Da aber auch ein Preiskampf nach unter der AI-Modellen stattfindet, kann man davon ausgehen, dass das bald leistbar wird. Laut Magic wäre man beim Token-Preis um das 1.000-Fache günstiger als etwa Llama 3.1 in seiner größten Variante mit 405 Milliarden Parametern. Llama 3.1 ist in Sachen „Open Source“ derzeit State of the Art und wurde von Meta Platforms im Sommer vorgestellt. Es ist auf Augenhöhe oder teilweise besser als die proprietären AI-Modelle von OpenAI, Anthropic oder Google.

Riesige Kontextfenster würden Pre-Training unwichtiger machen

Laut Magic konnte man mit LTM-2 mini bereits automatisiert eine Taschenrechner-App bzw. ein Anmeldesystem entwerfen lassen. Das ist auch das große Ziel des Startups mit 23 Mitarbeiter:innen. Man wolle es künftigen Nutzer:innen ermöglichen, mit 100 Dollar und 10 Minuten Zeitaufwand Probleme zu lösen, also etwa Apps entwickeln oder Features für Services zu entwerfen.

Bewahrheitet sich am Markt, das solch große Kontextfenster funktionieren, wäre das ein Paradigmenwechsel in der Welt der AI-Modelle. Heute werden Milliarden an Dollar ausgegeben, um LLMs mit Unmengen an Daten zu trainieren und damit quasi ihr Langzeitgedächtnis zu erstellen. Riesige Kontextfenster hingegen erweitern das Kurzzeitgedächtnis von LLMs und lösen damit mehrere Probleme:

• Keine Unmengen an Kosten und Aufwand durch Pre-Training
• Weniger Probleme mit Copyrights und Datenschutz für die verwendeten Trainingsdaten; die User laden diese selbst hoch
• Weiter sinkende Kosten für die Verwendung

Magic hat auch eine große Partnerschaft mit Google Cloud verkündet, um in Partnerschaft mit Nvidia gleich zwei große „Supercomputer“ zu bauen – einen mit den heute standardmäßigen H100-Chips von Nividia, den zweiten dann mit den kommenden Blackwell-Chips (B200s). Damit ist auch klar wohin das Gros der frischen 320 Millionen Dollar Finanzierung fließen werden – in AI-Chips.

Hier die aktuellen Preise und Kontextfenster führender AI-Modelle im Vergleich:

Magic holt frische 320 Mio. Dollar, bringt AI-Modell mit riesigem Kontext-Fenster