Magic holt frische 320 Mio. Dollar, bringt AI-Modell mit riesigem Kontext-Fenster
Die österreichischen Gründer Eric Steinberger und Sebastian De Ro haben im Silicon Valley nichts anbrennen lassen. Nachdem es eine Zeit lang etwas ruhiger um ihr mittlerweile in die USA abgewandertes Startup Magic wurde, kommen sie am Donnerstag Abend mit großen News wieder nach vorne. So haben sie eine dicke Finanzierungsrunde geschlossen, stellen ein neues AI-Modell mit einem Kontextfenster von 100 Million (!) Token vor und haben sich eine große Google-Cloud-Kooperation sowie Ben Chess, den ehemaligen Supercomputing Lead von OpenAI, ins Team geholt.
Beginnen wir mit den Finanzierungs-News. Magic, das einen Coding-Assistenten auf Basis eines großen Sprachmodells baut, hat bis dato schon stattliche 145 Mio. Dollar Kapital aufgenommen. Nun kommen weitere 320 Mio. Dollar dazu, und zwar vom ehemaligen Google-CEO Eric Schmidt, Jane Street, Sequoia, Atlassian sowie den Bestandsinvestoren Nat Friedman, Daniel Gross, Elad Gil und Google VC-Arm CapitalG. Diese 320 Mio. Dollar sind deutlich mehr als die zuletzt kolportierten 200 Mio. Dollar, die Marktgerüchten zufolge die Unternehmensbwertung auf 1,5 Mrd. Dollar und damit Unicorn-Status heben sollten. Mit 320 Mio. Dollar ist der Unicorn-Status so gut wie sicher.
23 Team-Mitglieder, 8.000 Nvidia-Chips
Aktuell sei man ein Team von 23 und würde mit etwa 8.000 H100-Chips von Nvidia arbeiten. Mit Ben Chess, der bisher bei OpenAI als Ben Chess Supercomputing Lead abreitete, will man nun weitere Supercomputer mit „zehntausenden GB200s“ bauen. Die GB200s sind die neuesten Blackwell-Chips von Nvidia, die dieses Jahr präsentiert wurden, aber sich in der auslieferung noch verzögern. Jedenfalls partnert Magic mit Google Cloud, um sich diese Supercomputer für das Berechnen seiner AI-Modelle zu bauen.
Nun aber zur Software selbst. Das neueste AI-Modell von Magic hört auf den Namen LTM-2-mini. Un dieses lässt mit einer Zahl aufhorchen. Und zwar soll es Eric Steinberger zufolge ein Kontextfenster von 100 Millionen Token haben, also unglaublich viel Input auf einmal verarbeiten können. Nur zum Vergleich: Googles Top-Modell Gemini 1.5 Pro hat ein Kontextfenster von einer Million Token, GPT-4o von OpenAI 128.000. Sollte das wirklich stimmen, schlägt Magic die Konkurrenz um das 100-fache.
100 Millionen Token – oder 750 Romane
„100 Millionen Token entsprechen etwa 10 Millionen Codezeilen oder ungefähr 750 Romanen“, heißt es seitens Magic. Benchmarks wurden keine veröffentlicht, aber Magic vergleicht sein LTM-2 mini mit Llama 3.1 405B, dem bisher größten und stärksten AI-Modell von Meta, das kürzlich veröffentlicht wurde. LTM-2-mini sei etwa 1000 Mal billiger als Llama 3.1, würde man dieses mit einem Kontextfenster von 100 Mio. Token ausstatten, und zwar weil das Magic-Modell sehr viel weniger Rechenkraft benötige.
Aus Sicht von Magic sind riesige Kontextfenster so etwas wie ein neues Paradigma für AI-Modelle. Damit würde man Probleme beim Vortrainieren verhindern. „Pre-Training geht nur so weit; wir glauben, dass Inferenzzeit-Berechnungen die nächste Front in der KI sind. Stellen Sie sich vor, Sie könnten 100 Dollar und 10 Minuten für ein Problem aufwenden und würden zuverlässig einen großartigen Pull Request für ein ganzes Feature erhalten. Das ist unser Ziel“, heißt es seitens Magic.
Erstaunlich ist auch, wie bescheiden die Magic-Gründer das frische Funding ankünden und es nur in einem Nebensatz erwähnen, und stattdessen volle Aufmerksamkeit auf ihre Technologie lenken wollen. Spannend dabei ist schließlich auch der Name des AI-Modells, eben LTM-2 mini. Man kann sich gar nicht vorstellen, was der große Bruder von LTM-2 können wird.
