SiloAI aus Finnland veröffentlicht neues Open-Source-LLM namens „Poro“

Aus Paris gibt es Mistral AI; in Deutschland ist gerade Aleph Alpha dabei, abzuheben – und jetzt tut sich auch in Finnland etwas. Denn Silo AI hat heute bekannt gegeben, dass es die ersten so genannten Modell-Checkpoints einer Familie mehrsprachiger Open-Source-Sprachmodelle (LLMs) veröffentlicht. Ziel ist, ein AI-Modell, dass alle europäischen Sprachen und Codes abdeckt, zu entwickeln, und zwar als Gegengewicht zu OpenAI und den GPT-Modellen aus den USA. Man wolle die „digitale Souveränität Europas gewährleisten und den Zugang zu LLMs demokratisieren“, heißt es.

Silo AI ist mit seiner Tochter SiloGen, die sich auf generative AI spezialisiert, angetreten, um das größte Open-Source-Sprachmodell der Welt zu entwickeln, und kooperiert dabei seit Ende August mit der Universität Turku. Das wichtigste Asset dabei ist Zugang zu Rechenleistung auf Europas leistungsstärkstem Supercomputer LUMI/EuroHPC.

„Zwei Monate nach Beginn der Schulungsbemühungen für eine Modellfamilie freuen wir uns, die ersten Meilensteine des Poro 34B-Modells zu veröffentlichen. „Poro“ ist das finnische Wort für Rentier und dieses neue 34 Milliarden Parameter umfassende LLM für Englisch, Finnisch und Code gibt einen ersten Einblick in das, was unsere mehrsprachige Modellfamilie zu bieten hat. Zukünftige Poro-Versionen werden die Unterstützung für andere europäische Sprachen erweitern und weitere Funktionen wie aktualisierte Modellarchitektur, erweitertes Kontextfenster, Modalitäten usw. hinzufügen“, heißt es in einer Aussendung.

AI Act: Führende Entwickler:innen sehen Open Source in Gefahr

Poro soll Llama und Mistral schlagen

Damit ist das LLM bei weitem noch nicht dort, wo es einmal sein, soll. Aber durch die Freigabe der Checkpoints will Einblick in das Training von Sprachmodellen für Forscher:innen und Praktiker:innen ermöglichen. Die bisherigen Ergebnisse seien aber vielversprechend. „Nach 30% des Trainings erzielt Poro bereits eine bessere Leistung als der aktuelle Stand der Technik auf dem finnischen Sprachbenchmark FIN-bench (z. B. FinGPT, Llama, Mistral)“, heißt es weiter. „Wir erwarten ähnliche Ergebnisse, wenn wir uns auf andere Sprachen ausweiten. Dies wird ohne Beeinträchtigung der Leistung in Englisch erreicht, für das Poro eine vergleichbare oder sogar bessere Leistung im Vergleich zu ähnlichen englischorientierten Modellen (z. B. Llama und Mistral) erzielt.“

Dass Poro besser ist als Llama von Meta und Mistral vom gleichnamigen französischen Startup Mistral AI, ist interessant, aber nicht weltbewegend. Diese LLMs stehen in Open-Source-Versionen zur Verfügung, können es in der Praxis aber nicht mit Marktführer OpenAI und dessen GPT-Modellen aufnehmen. „Poro ist für die Verarbeitung von Englisch und Finnisch ausgelegt und beherrscht eine Reihe von Programmiersprachen. Außerdem kann es einfache Übersetzungen zwischen Englisch und Finnisch durchführen“, heißt es zu den Einsatzmöglichkeiten.

Poro steht unter der Apache 2.0-Lizenz zur freien Verfügung und kann sowohl kommerziell als auch für Forschungszwecke verwendet werden. Die heute veröffentlichten Checkpoints richten sich an akademische und industrielle Forschung, ist aber nicht für den Einsatz in der Produktion ohne weitere Schulung, Feinabstimmung und Tests geeignet.

Silo AI: Finnen entwickeln größtes Open-Source-Sprachmodell der Welt