Das LLM von Magic ist GPT-4 und Gemini in einem Punkt deutlich überlegen
Das Staunen hört nicht auf: Das von den Wienern Eric Steinberger und Sebastian De Ro gegründete AI-Startup Magic hat vergangene Woche eine Finanzierungsrunde von satten 117 Millionen Dollar bekannt gegeben – unter anderem ist der ehemalige GitHub-CEO Nat Friedman und sein Investment-Partner Daniel Gross sowie der Growth Fund CapitalG von Alphabet mit dabei.
Das Ziel von Magic ist es, einen dem Menschen überlegenen AI-Software-Entwickler zu bauen, der nicht bloß einzelne Tasks wie heutige Copilots übernimmt, sondern komplette Jobs. In einem nächsten Schritt sehen Steinberger und De Ro das auch als Weg zu so genannter AGI, also Artificial General Intelligence, die Aufgaben selbstständig und besser als der Mensch erledigen kann.
Doch was kann das AI-Modell, das Magic entwickelt und das dem blutjungen Startup innerhalb nur eines Jahres insgesamt 145 Millionen Dollar eingebracht hat? Nach aktuellem Stand dürfte sie anderen Large Language Models (LLMs) führender AI-Unternehmen in einem Punkt absolut überlegen sein: Denn LTM-1, wie Magic sein erstes, 2023 gestartetes LLM gekauft hat, verfügt Angaben des Unternehmens zufolge über ein unglaublich großes Kontextfenster von 5 Millionen Token. Das übertrifft die Fähigkeiten aller anderen bekannten LLMs um Längen.
Magic: Der Überraschungsgegner von OpenAI kommt aus einer Wiener Schule
LTM-1 mit 5 Millionen Token
Zum Vergleich:
- LTM-1 von Magic: 5 Million
- Gemini 1.5 von Google: 1 Million
- GPT-4 Turbo von OpenAI: 128.000
- Claude 2 von Anthropic: 100.000
- Mixtral 8x7B von Mistral AI: 32.000
- Llama 2 von Meta: 4.096
Was bedeutet ein solch großes Kontextfenster? „Magic hat ein Large Language Model (LLM) trainiert, das in der Lage ist, bei der Erstellung von Vorschlägen riesige Mengen an Kontext zu berücksichtigen. Für unseren Programmierassistenten bedeutet das, dass Magic jetzt Ihr gesamtes Code-Repository sehen kann“, heißt es dazu seitens des Unternehmens. Aktuell kann man sich auf die Warteliste für die Alpha-Version des Coding-Assistenten setzen lassen. „Größere Kontextfenster können es KI-Modellen ermöglichen, sich auf explizitere, faktische Informationen und ihren eigenen Handlungsverlauf zu beziehen.“ Man hoffe, dass man die Zuverlässigkeit und Kohärenz von LTM-1 weiter verbessern könne.
Das Kontextfenster eines AI-Modells ist gewissermaßen die Gedächtnisspanne und definiert, wie viel Daten-Input das LLM verarbeiten kann. Es begrenzt also, wie viel vorangegangenen Text das Modell betrachten kann, um den nächsten Teil des Textes vorherzusagen oder zu interpretieren. Wenn das Kontextfenster beispielsweise 1.024 Tokens groß ist, bedeutet das, dass das Modell maximal 1.024 Tokens des vorherigen Textes berücksichtigen kann, um seine Vorhersagen zu treffen. Alles, was darüber hinausgeht, wird vom Modell nicht mehr wahrgenommen.
Ein Token wiederum steht für die kleinste Einheit der Verarbeitung und repräsentiert etwa Wörter, Satzzeichen, Leerzeichen usw. Ein größeres Kontextfenster ermöglicht es dem Modell, komplexere Zusammenhänge und weitreichendere Textabhängigkeiten zu erfassen. Allerdings erhöht ein größeres Kontextfenster auch die Anforderungen an die Rechenleistung und den Speicherbedarf. Das erklärt somit auch den enorm hohen Kapitalbedarf von Magic und anderen Entwickler:innen von LLMs. Sie müssen enorm große GPU-Rechenleistung zur Verfügung stellen, dass Eingaben von Millionen Tokens auch berechnet werden können.
