Österreichischer ChatGPT-Herausforderer braucht 54 Mio. Euro pro Jahr

„Ich entlasse gerade Leute. Ich weiß nicht, wie man an das Geld rankommt, wir haben es überall gesucht, aber nichts gefunden.“ Sepp Hochreiter, Chef des Institute for Machine Learning der Johannes Kepler Universität (JKU) in Linz ist hörbar verzweifelt. Während Forschungszentren in anderen Ländern bzw. in Tech-Unternehmen voran preschen und in den letzten Wochen und Monaten neue Ergebnisse in der AI-Forschung am laufenden Band präsentierten, muss Hochreiter um Finanzierung ringen.

Hochreiter gilt seit vielen Jahren als KI-Koryphäe. Immerhin hat er Ende der 1990er Jahre mit LSTM (Long Short-Term Memory) eine Technologie mitentwickelt, die zur Verbesserung der Entwicklung von Künstlicher Intelligenz beiträgt und geholfen hat, Siri (Apple) oder Alexa (Amazon) auf den Weg zu bringen. Siri und Alexa wiederum sehen neben GPT-4 (OpenAI), StableLM (Stability AI), Luminous (Aleph Alpha) oder LaMDA (Google) alt aus. Doch Hochreiter lässt sich vom Hype um ChatGPT nicht beeindrucken. An seinem Institut wäre man gerade dabei, etwas Besseres als GPT-2 (Grundlage für ChatGPT, GPT-4) zu entwickeln – sofern es genügend Geld dafür gibt.

„Unser Anspruch ist schon, wesentlich besser zu sein als ChatGPT. Wir sind besser als GPT-2, also die Grundlage für GPT3, GPT-4 und ChatGPT. Wir sind schneller, besser und können längere Texte verarbeiten, aber wir haben weder die Mitarbeiter:innen noch die Rechenkapazitäten, um das auszutesten“, sagt Hochreiter im Gespräch mit Trending Topics. Dieses Modell, dass man als Nachfolger seiner ersten großen Schöpfung LSTM sehen kann, sei unter Verschluss. „Ich habe es nicht publiziert. Wenn wir die technische und mathematische Idee verraten würden, würden die es sofort nachbauen. Dann ist es bei Google, dann ist es weg.“

ChatGPT 🤖 GPT-4 🇪🇺 AI Act 🇦🇹 AustroGPT – mit KI-Forscher Sepp Hochreiter

„Müssten das auf Riesen-GPU-Clustern rechnen“

So muss man bis zu einer Veröffentlichung Hochreiter glauben, dass er (medial unter dem Schlagwort „AustroGPT“) OpenAI etwas Ausgereifteres entgegen setzen könnte. Um die Forschung daran weiter zu treiben, bräuchte Hochreiters Team viele Millionen. „Wir bräuchten 4 Millionen Euro pro Jahr für Personal, wobei da auch Software-Ingeneers dabei wären, und dann 50 Millionen Euro für Rechenkapazitäten. Wir müssten das auf Riesen-GPU-Clustern rechnen. Da braucht man extreme Rechenleistung, und die haben wir derzeit nicht“, so der JKU-Professor. Florian Tursky, Staatssekretär für Digitalisierung, und das Land Oberösterreich, hätten ihm schon Unterstützung zugesagt.

54 Millionen Euro pro Jahr – das wäre sehr wenig Geld im Vergleich zu den etwa 11 Milliarden Dollar, die OpenAI bisweilen eingenommen hat, aber auch deutlich weniger, als US-Startups wie Anthropic (ca. 300 Mio. Dollar) von Investoren erhalten haben. Doch Hochreiter lässt sich nicht einschüchtern. „Sowas wie ChatGPT, kann keine Logik, kann nichts herleiten, hat keinen Zugriff auf Fakten, hat kein Weltwissen. Das Ding hat nur Zeichenketten gesehen und kann diese Zeichenketten statistisch ganz klug wieder zusammen setzen. Das ist das Dümmste, was man sich vorstellen kann, ist aber deswegen beeindruckend, weil die Antworten so menschlich ausschauen. Die Antworten sind nur Antworten, die Menschen eh schon mal gegeben haben, aber neu zusammen gestöpselt“, sagt Hochreiter.

AI Act ist „verwirrend“

Klar ist: Auch wenn Hochreiter eine bessere europäische ChatGPT-Alternative bauen könnte, ohne die US-Tech-Riesen wäre das kaum möglich. Die Rechenleistung würde Hochreiter wohl in der Google- oder Amazon-Cloud zukaufen, aber es gebe auch andere Optionen. Der nächste potenzielle Hemmschuh: Der sich anbahnende AI Act der EU. Der ist noch nicht final abgesegnet und wird mit neuen Regeln für Künstliche Intelligenz in der Europäischen Union nicht nur für Klarheit sorgen. So weiß man heute noch nicht, welche KI-Anwendungen als Hochrisiko eingestuft werden könnten. Für Forscher:innen wie Hochreiter birgt diese Situation große Unsicherheit.

„Wir müssen wissen, was wir machen dürfen. Heute ist die Frage: Darf man in Europa überhaupt so etwas wie ChatGPT bauen?“, sagt Hochreiter. Wie würde wohl sein ChatGPT-Konkurrent in Sachen Risiko eingestuft werden. „Ich weiß es eigentlich gar nicht.“ Der AI Act, der gerade unter Hochdruck im EU-Parlament fertig gestellt wird, sei „verwirrend“. Wie berichtet haben Hochreiter und eine Reihe weiterer KI-Professor:innen zuletzt gefordert, dass Open-Source-Modelle nicht die selben strengen Regeln wie proprietäre, geschlossene Systeme wie GPT-4 bekommen sollten. Das würde der europäischen Forschung und Firmen helfen (Trending Topics berichtete).

Geld, Gesetze, Rivalen – am Weg zu einem ChatGPT „Made in Austria“ liegen also noch viele Hürden. Hochreiter: „Es kann auch schiefgehen, es ist noch Forschung, aber ich bin sehr optimistisch.“

AI Act: Open Source soll Abhängigkeit von AI-Systemen aus den USA bremsen