xLSTM: Linzer GPT-Challenger sorgt im AI-Sektor schon wieder für Aufsehen
xLSTM ist ein Kürzel, das man sich merken muss, wenn man sich für AI und neue Modelle interessiert. wie mehrmals ausführlich berichtet, ist xLSTM (kurz für „Extended Long Short Term Memory“) vereinfacht gesagt eine neue Architektur für AI-Modelle, die als Alternative für die heute gängigen Transformer-Modelle (z.B. GPT-4, Claude 3.5 oder Gemini 1.5) dienen kann. Hinter xLSTM steckt der bekannte, in Linz tätige AI-Forscher Sepp Hochreiter und sein Team sowie das mit ihm eng verbundene AI-Startup NXAI, das Ende 2023 an den Start ging.
Und nun sticht xLSTM schon wieder hervor, nachdem kürzlich in einem wissenschaftlichen Paper bereits seine gute Performance im Vergleich zu den Transformer-Modellen gezeigt wurde (Trending Topics berichtete). Diesmal ist es aber nicht die Truppe um Hochreiter selbst, die das AI-Modell vor den Vorhang holen, sondern die die Forscher Musleh Alharthi und Ausif Mahmood vom Department of Computer Science and Engineering an der University of Bridgeport in den USA. Sie zeigen in einer neuen Studie, dass xLSTM offenbar ziemlich gut bei der so genannten multivariaten langfristigen Zeitreihenprognose (multivariate longterm time series forecasting, kurz LTSF) ist – also, vereinfacht gesagt, besser bei Vorhersagen sein könnte als andere AI-Modelle.
xLSTM und die zugehörigen Forschungsergebnisse ist aktuell bei Hacker News als bestplatziertes Thema gelistet – ein deutlicher Hinweis darauf, dass in Tech-Zentren wie dem Silicon Valley aktuell viel Augenmerk auf der neuen AI-Architektur aus Linz liegt.
NXAI-CEO Albert Ortig: „Werden dieses Jahr erstes kompetitives AI-Modell launchen“
„Effizientere und besser interpretierbare Prognose“
Die Forscher testeten xLSTM für Vorhersagen zu Verkehr (stündlich), Elektrizität (stündlich), Wetter (10-Minuten-Intervalle) oder Grippe-ähnlichen Erkrankungen und stellten ihrem Paper zufolge fest, dass xLSTM „eine hervorragende Leistung im Vergleich zu modernsten transformatorbasierten Modellen sowie zu anderen kürzlich vorgeschlagenen Zeitreihenmodellen“ biete. Es würde eine „überlegene Genauigkeit“ in Bezug auf Fehleranfälligkeiten zeigen (die Forschung spricht hier vom Mean Absolute Error, kurz MAE und vom „Mean Squared Error“, kurz MSE), was es zu einer brauchbaren Alternative zu komplexeren Modellen mache.
Insgesamt, schlussfolgern Alharthi und Mahmood könnte xLSTM die Grundlage für „effizientere und besser interpretierbare Prognoselösungen“ sein. Was das in der Praxis bedeutet, steht derzeit ein wenig in den Sternen. Denkbar aber sind AI-Lösungen, die besser Verkehrsströme, Stromverbrauch oder Wetterentwicklungen vorhersagen können – also Dinge mit sehr vielen Anwendungsgebieten.
Bei NXAI geht es auch stark in diese Richtung. In der Sparte „AI4Simulation“ arbeitet das Linzer AI-Startup an Simulationen etwa für die Industrie. „Unser Johannes Brandstetter war einer derjenigen, der dieses neue Wettermodell von Microsoft in Amsterdam entwickelt hat. Dieses Wettermodell schlägt alle bestehenden Wettermodelle, und zwar über Daten und nicht nur über Physik“, sagte NXAI-CEO Albert Ortig kürzlich im Interview zu Trending Topics. NXAI ist derzeit dabei, eine große Finanzierungsrunde zu stemmen, nachdem man dieses Jahr bereits einen mittleren zweistelligen Millionenbetrag aufgenommen hat. Angekündigt wurde, dass noch dieses Jahr ein erstes kompetitives AI-Modell auf den Markt gebracht wird. Man darf gespannt sein.
NXAI: Linzer AI-Startup von Sepp Hochreiter zeigt erstmals den GPT-Konkurrenten xLSTM
