NXAI: „Wir wollen Linz zu einem Player machen, der weltweit anerkannt ist“

Es war eine der größten Meldungen des (noch jungen) Jahres: Der Launch von NXAI, dem Linzer Startup rund um AI-Pionier Sepp Hochreiter. Gemeinsam mit Netural von Albert Ortig und der Pierer Digital Holding von Unternehmer Stefan Pierer wurde NXAI aus dem Boden gestampft, um endlich die genialen Grundlagen, die Hochreiter an der JKU in Linz entwickelt, zu konkurrenzfähigen Produkten auszubauen. Denn mit LSTM (Long Short-Term Memory) hat Hochreiter bereits in den 1990ern quasi das Kurzzeitgedächtnis für Maschinen erfunden und damit geholfen, Sprach-Assistenten wie Siri und Alexa schlau zu machen.

Dann aber kam die Transformer-Technologie, die den „Pretrained Generative Transformers“ von OpenAI mit den Namen gab, und löste LSTM ab. Doch Hochreiter, Ortig und Pierer scharen nun AI-Forscher:innen wie Johannes Brandstetter, der von Microsoft zurück nach Linz kehrte, um sich, um xLSTM zum „performantesten, internationalen Large Language Model“ auszubauen. Nichts weniger als OpenAi zu schlagen, ist das große Ziel.

Wie also wird das funktionieren, und wie wird sich NXAI im internationalen Wettrennen gegen OpenAI und Co behaupten können? Darüber spricht Johannes Brandstetter, Head of Research (AI4Simulation) bei NXAI, im Interview:

Trending Topics: AI-Entwicklungen legen derzeit ja eine unheimliche Geschwindigkeit vor. Quasi im Wochenrhythmus kommen neue AI-Modelle, LLMs usw. auf den Markt. Wo siehst du die größten Chancen und vielleicht auch die größten Gefahren?

Johannes Brandstetter: Der Markt wird neu durchgewürfelt. Large Language Models und die Technologie generell werden alltagstauglich. Mit allen Vorteilen und auch mit den Nachteilen. Da wird mehr oder weniger kein Stein mehr auf dem anderen bleiben. Es wird alles umgedreht, sei es bei den Anwendungen, sei es in der Grundlagenforschung, sei es in der Industrie. Und das ist natürlich eine Chance, hier einzugreifen und hier was Neues mitzugestalten.

Wie bist du selber zu dem Thema gekommen?

Ich habe keinen klassischen Werdegang, bin über Physik in die AI gekommen, inspiriert durch Sepp Hochreiter. Ich war zwei Jahre bei Microsoft und war dort natürlich konfrontiert mit OpenAI. Wir haben schon Spannung zwischen amerikanischen Sprachmodellen und chinesischen Computer-Vision-Modellen mit ihren amerikanischen und chinesischen Werten und dem europäischen Markt, der so ein bisschen hinterher hinkz. Das war für mich auch eine ganz große Motivation, wieder weg von diesen Konzernen zu gehen, in den europäischen Markt und hier versuchen, etwas zu bewegen und etwas aufzubauen mit dem Know-How, das ich mitbringe.

Du warst an der JKU tätig, bist dann zwei Jahre zu Microsoft gegangen, jetzt wieder zurück. Kannst du die Zeit bei Microsoft Revue passieren lassen, was hast du dort gemacht und gelernt?

Ich glaube, ich war in der interessantesten Zeit bei Microsoft. Im ersten Jahr habe ich live mitbekommen, wie auf einmal unsere GPUs weniger geworden sind weil, naja, jetzt wir wissen es, es ist alles in ChatGPT und später GPT-4 geflossen. Ich habe natürlich mitgekriegt, wie dieser Hype von LLMs entstanden ist, wie sich auf einmal die ganze Tech-Branche umgekrempelt hat. Ich persönlich habe vor allem in der Wetterforschung viel gemacht, große datengetriebene Wettermodelle. Hier haben wir auch in den letzten zwei Jahren eine unglaubliche Revolution gesehen.

Wetter ist ein Thema, das der Mensch nicht formelmäßig beschreiben kann, also keiner weiß wirklich, wie modelliere ich das Wetter stabil die nächsten sieben Tage. Aber die Wahrheit steckt in den Daten, und das war natürlich schon sehr motivierend zu sehen, wie schnell AI in diesem Bereich einfach die jahrzehntelange menschliche Expertise, ich würde nicht sagen überholt, aber definitiv ergänzt hat. Und genau das war meine Haupttätigkeit.

Microsoft ist der große Investor von OpenAI, kürzlich haben sie sich noch die Inflection bzw. DeepMind-Gründer geschnappt. Hat Google, haben andere da noch eine Chance?

Es gibt verschiedene Strategien. Es ist Goldgräberstimmung, und Nvidia sind die, die die Schaufeln zum Goldgraben verkaufen. Nvidia ist sicher der ganz große Player. Dieser Chipmarkt, der auch europäisch sehr gut getrieben wird, wird früher oder später eine Rolle spielen und dann gibt es mehrere Methoden, wie man das macht. Meta setzt extrem stark auf Open Source, dann gibt es die Startups wie Mistral und so weiter, die aufpoppen. Microsoft ist auf einem guten Weg, die AI ganz stark in ihr Business zu integrieren. Aber ein Monopol aufzubauen, das ist glaube ich fast unmöglich, vor allem weil sich so schnell neue Möglichkeiten auftun.

Du bist von Microsoft weggegangen, um bei einem österreichischen Startup namens NXAI mitzuarbeiten. Was steckt dahinter?

NXAI steht für viele Sachen, aber es steht vor allem dafür, dass Linz eine Boom-Stadt ist. Apple hat erst kürzlich verkündet, dass es 500 neue Arbeitsplätze in Linz einrichtet, wir haben Dynatrace, wir haben andere große Firmen in Linz. Linz wird zu einem Techhub. Linz ist traditionell AI-geprägt, weil einfach Sepp Hochreiter hier seit Jahrzehnten wirkt. Dieses starke, aufstrebende Linz mit dem AI-Schwerpunkt erlaubt natürlich jetzt, wo die Karten neu gemischt werden, wo AI in alle Bereiche des täglichen Lebens eindringt, eine Strömung aufzubauen und das Momentum mitzunehmen. Das haben wir vor mit NXAI, dass wir dieses Momentum mitnehmen und Linz hier wirklich auch zu einem Player machen, der Europa- und weltweit anerkannt ist.

Du hast die Rolle des Head of Research bei NXAI, mit dem Spezialgebiet AI4Simulation. Was kann man sich darunter vorstellen?

Simulation ist, was unsere Industrie treibt. Seien es Windkanal-Simulationen oder Materialsimulationen, die treiben unsere Industrie, die sind der Kern vieler großer europäischer Industrieunternehmen. Diese Simulationen sind getrieben durch Gleichungen, durch Systematiken, die sehr ähnlich sind zum Wetter modellieren. Mein Guess ist, dass wir diesen Erfolg, den wir in so großen Systemen wie Wetter sehen, dass wir diesen Erfolg in der Industrie sehen werden. Deswegen möchte ich hier mit AI-getriebenen Simulationen neue Möglichkeiten auftun, neue Prozesse ermöglichen

Unter NXAI sollte man sich weniger den nächsten ChatGPT-Klon vorstellen, sondern eher ein AI-Tool, das in der Industrie zum Einsatz kommt.

Genau. Österreich ist ja sehr stark durch Industrie geprägt, auch der gesamte DACH-Raum. Wir haben viele Unternehmen wie Trumpf, Bosch, Borealis und so weiter in Europa. Ich möchte diese industriellen Prozesse, wo sich einfach viele Prozesse auf Simulationen zurückführen lassen, AI-unterstützt vorantreiben.

Was bedeutet das technisch? Müsst ihr so wie andere Startups auch jetzt massenhaft GPUs einkaufen?

Natürlich fängt das jetzt an. Wir den Large Language Model-Sektor haben, wo wir uns natürlich schon reingewagt haben. Das Ziel ist natürlich auch hier zu skalieren und hier auch Compute-mäßig mitzuspielen.

Ihr seid schon mit der Ambition an den Start gegangen, das „performanteste internationale Large Language Model“ aufzubauen. Also es geht dann schon auch in die Richtung, wie man von OpenAI, Mistral und so weiter kennt?

Ja, das ist die zweite Schiene, die wir fahren, aber das Ziel hier ist,  mit einer neuen Herangehensweise, mit einer neuen Idee wirklich ein Language Model zu bauen und ich glaube, die Jungs machen hier hervorragende Arbeit. Es soll Funktionalität liefern, die andere Large Language Models eben nicht liefern können.

Bei den bekannten Sprachmodellen stehen Transformer-Modelle stehen im Vordergrund. Eure Secret Sauce ist das LSTM-Modell, quasi eine Alternative zu dem Transformer-Modell. Worum handelt es sich bei LSTM?

LSTM ist das ursprüngliche Modell, um Zeitserien zu analysieren. LSTM (Long Short-Term Memory, Anm.) ist von Sepp Hochreiter zusammen mit Jürgen Schmidhuber in den 90er-Jahren erfunden worden. Es war das dominierende Modell, um Sequenzen zu analysieren, und Sprache ist natürlich das klassische Sequenzteil. LSTM war bis 2017 das vorherrschende Tool, auch einige von den OpenAI-Gründern wie Ilya Sutskever hatten viele LSTM-Publikationen. LSTM wurde dann durch die Transformer-Technologie zumindest in Sprache und in größeren Modellen abgelöst.

LSTM ist mehr wie nur ein Netzwerk, LSTM ist eine generelle Idee, wie man Abstraktionen behandelt, wie man Konzepte herausarbeitet in einer Architektur. Diese LSTM-Idee, die lässt Sepp nicht los und die werden wir in irgendeiner Form wahrscheinlich wiedersehen.

Ihr habt noch ein kleines x davor gesetzt, das heißt, ihr arbeitet an LSTM 2.0?

Ja, da lassen wir uns überraschen, für was das X steht.

Auf der einen Seite USA, auf der anderen in China, in der Mitte irgendwo Europa: Wie beobachtest du die anderen AI-Startups des Kontinents, etwa Mistral AI aus Paris, Aleph Alpha aus Deutschland und Silo AI aus Finnland?

Mistral kenne ich gut, da kenne ich auch einige Leute. Das sind jetzt auch die, die international wahrscheinlich am meisten ernst genommen werden, die spielen da wirklich in der großen Liga. Sie haben jetzt natürlich auch eine große Microsoft-Connection. Es ist einfach generell schwer, solche Startups in Europa hochzuziehen, während sie in Amerika mehr oder weniger wie die Schwammerl aus dem Boden schießen. Mistral sind natürlich ein gewisses Vorbild für uns, aber wir haben schon auch andere Richtungen, wir wollen nicht nur OpenAI nacheifern, sondern wir wollen andere Möglichkeiten bieten, bessere Möglichkeiten bieten in gewissen Themen und aber auch breiter aufstellen.

Es gibt ja aus Österreich heraus ein ganz spannendes Startup: Magic von Erik Steinberger und Sebastian De Ro.

Ich kenne das Startup, ich finde das super cool, es taugt mir, dass das auch aus Wien kommt. Ich bin froh, dass solche Sachen aus Österreich kommen, ich hoffe, sie kommen wieder zurück zu uns, vielleicht gibt es ja Synergien irgendwann. The more, the merrier sozusagen. Die Karten sind, wie gesagt, neu gemischt. Es gibt jetzt einfach eine neue AI, die kommt jetzt in den Alltag, AI wird jetzt anwendungsgetrieben, AI wird wirklich Bereiche ersetzen. Das bedeutet, dass Platzhirschen, die in ihrem Gebiet Weltmarktführer waren über 50, 60, 100 Jahre, auf einmal wirklich in einen Konkurrenzkampf kommen. AI wird so wichtig, dass es Core-Technologien herausfordert oder unterstützt. Dieses neue Mischen der Karten, das gibt Europa einfach neue Chancen. Wir haben jetzt einfach neue Chancen und die möchte ich nutzen, also ich bin positiv gestimmt.