Liquid AI: Hat der nächste große AI-Hit schon wieder Österreich-Bezug?
2024 ist definitiv das Jahr der GPT-Konkurrenten. Während OpenAI mit vielen Abgängen (zuletzt verließ CTO Mira Murati das Unternehmen) und riesigen Finanzierungsrunden beschäftigt ist, haben eine ganze Reihe an Startups nicht bloß ChatGPT-Rivalen en masse auf den Markt gebracht (Anthropic, xAI, Meta und Google lassen schön grüßen), sondern vielmehr wird auch die grundlegende Transformer-Technologie in Frage gestellt.
So hat bereits ein Linzer Startup um den AI-Forscher Sepp Hochreiter mit xLSTM eine Alternative zu den Transformer-Modellen (z.B. OpenAI o1, Claude, Gemini usw.) vorgestellt. Nun kommt das am renommierten MIT in Boston ansässige Startup Liquid AI um die Ecke. Die AI-Modelle, die sie am Montag Abend der Öffentlichkeit vorgestellt haben, nennen sie LFMs – Liquid Foundation Models.
Drei Sprachmodelle wurden gezeigt, und zwar ein 1.3B Modell, ein 3.1B Modell sowie ein 40.3B Modell. In veröffentlichten Benchmarks ist zu sehen, dass sich diese LFMs gut gegen Open-Source-Modelle von Google (Gemma), Microsoft (Phi), Mistral oder Meta (Llama) schlagen – Vergleiche zu den führenden proprietären LLMs von OpenAI, Google oder xAI gibt es aber nicht. Wer die Chat-Version von LFM selbst ausprobieren will, das geht hier.
CEO Ramin Hasani und CTO Mathias Lechner forschten in Wien
Das Besondere an Liquid AI aus österreichischer Sicht: Zwar ist das Startup ein MIT-Spin-off und in Boston ansässig, aber zwei der vier Gründer:innen sind hierzulande keine Unbekannten. CEO Ramin Hasani (hier im Interview) war ab 2016 fast fünf Jahre lang als Machine-Learning-Forscher an der TU Wien tätig und wurde hierzulande als einer der wichtigsten AI-Wissenschaftler geführt. Auch auf den TEDx-Konferenzen sowie in der Bold Community der WKO ist er ziemlich umtriebig.
Ihm zur Seite steht bei Liquid AI Mathias Lechner als CTO. Er hat war zu ähnlicher Zeit wie Hasani an der TU Wien und machte dann am Institute of Science and Technology Austria (ISTA) seinen PhD – seit Ende 2023 wird er als Technikchef bei Liquid AI geführt. Die beiden werden im Gründer-Team von Alexander Amini und Daniela Rus, beide seit vielen Jahren am MIT, komplettiert.
Nun ist Liquid AI das nächste AI-Startup, das ChatGPT herausfordert. Aber wie genau, und was machen sie technisch anders? „LFMs haben im Vergleich zu Transformator-Architekturen einen geringeren Speicherplatzbedarf. Dies gilt insbesondere für lange Eingaben, bei denen der KV-Cache in Transformator-basierten LLMs linear mit der Sequenzlänge wächst. Durch effiziente Komprimierung der Eingaben können LFMs längere Sequenzen auf derselben Hardware verarbeiten. Im Vergleich zu anderen Modellen der 3B-Klasse benötigen die LFMs beispielsweise nur einen minimalen Speicherplatz“, heißt es seitens des Startups.
Was LFMs können – und was nicht
Das ist natürlich interessant, weil man so an der teuren Hardware-Infrastruktur sparen kann und auch Edge-AI-Anwendungsfälle möglich werden – also wenn KI-Anwendungen direkt auf einem Endgerät (z.B. am Smartphone) laufen und nicht an die Cloud auslagern müssen. Ein weiterer Vorteil der LFMs: Sie haben mit 32.000 Token ein respektables Kontextfenster im Vergleich zu anderen kleinen Sprachmodellen, was bedeutet, dass sie doch sehr große Daten auf einmal verarbeiten können.
LFMs seien gut, wenn es um Allgemeines und Fachwissen, Mathematik und logisches Denken, effiziente und effektive Aufgaben mit langem Kontext oder Sprachen wie Englisch, Spanisch, Französisch, Deutsch, Chinesisch, Arabisch, Japanisch und Koreanisch gehe. Jedoch würde es Mängel geben etwa bei Zero-Shot-Code-Aufgaben, präzisen numerischen Berechnungen, zeitabhängigen Informationen oder auch simplen Aufgaben wie dem Zählen der „r“s in dem Wort „Erdbeere“.
Der Launch der ersten drei LFMs ist aber noch längst nicht alles. Bereits am 23. Oktober bereitet Hasanis Truppe einen großen Produkt-Launch vor, zu dem die interessierte Öffentlichkeit eingeladen wird. Kurz davor, vom 17. bis 19. Oktober, ist Hasani auf der großen TED AI-Konferenz in Wien als Sprecher zu Gast und könnte auch dort bereits Einblicke in künftige Entwicklungen geben. Und im Silicon Valley gilt Liquid AI bereits als das nächste große Investment-Ziel der AI-hungrigen VCs. Man darf gespannt sein.
