Falcon 180B: Neues Sprachmodell will Google und Meta schlagen, aber nicht GPT-4

GPT-4 kennt bereits jede:r, auch PaLM von Google und Llama von Facebook sind vielen bekannt – aber daneben gibt es noch eine Reihe weiterer großer LLMs, die Texte und anderen Content generieren können. Eines davon ist Falcon, das vom Technology Innovation Institute (TII) aus Abu Dhabi entwickelt wird. Dieses liegt nun in einer neuen Version unter dem Kürzel „180B“ vor – und soll es in sich haben. Denn die Macher:innen, die Falcon 180B nun veröffentlicht haben, geben an, dass es besser als PaLM 2 von Google also auch LLaMA 2 von Meta Platforms sei. Trainiert wurde es mit Amazon SageMaker und etwa 7 Millionen Stunden GPU-Rechenzeit.

Falcon basiert auf 180 Milliarden Parametern, was die 175 Milliarden Parameter von GPT-3 von OpenAI und die 70 Milliarden Parameter von Llama 2 überbietet – und in Tests bei der Performance auch das kleine und das mittlere Model von Googles PaLM 2 schlagen soll. Den Vergleich mit GPT-4 von OpenAI trauen sich die Macher:innen aber nicht zu, schließlich soll bei diesem Multi-LLM eine Architektur vorliegen, die 8x etwa 220 Milliarden Parameter große Modelle kombiniert – und ist derzeit mit Abstand der Marktführer im LLM-Bereich. Immerhin arbeitet Google bereits an „Gemini“, das endlich an GPT-4 heranreichen soll.

Llama 2: So funktioniert der Open-Source-Angriff von Meta auf ChatGPT

Restriktive Nutzungsbedingungen

Aber zurück zu Falcon. „Dieses Modell schneidet bei verschiedenen Aufgaben wie Logik-, Codierungs-, Kompetenz- und Wissenstests außergewöhnlich gut ab und übertrifft sogar Konkurrenten wie LLaMA 2 von Meta“, heißt es seitens TII. „Unter den Closed-Source-Modellen rangiert es knapp hinter OpenAIs GPT 4 und liegt gleichauf mit Googles PaLM 2 Large, das Bard antreibt, obwohl es nur halb so groß ist wie dieses Modell.“ Falcon 180B sei sowohl für Forschungs- als auch kommerzielle Zwecke verfügbar.

Um Falcon 180B auszuprobieren, kann man eine Demoversion seiner Chat-Variante auf Hugging Face ausprobieren – es funktioniert auch auf Deutsch. Wer das LLM selbst betreiben will, braucht einiges an Arbeitsspeicher (je nach Version zwischen 320 und 5.120 GB), und man muss eine Lizenzvereinbarung mit dem TII treffen, die laut der AI-Plattform Hugging Face sehr restriktiv ist. Wichtig zu wissen: Das TII wird von der Regierung in Abu Dhabi finanziert, dementsprechend gibt es auch staatliche Interessen daran. Der Einsatz von Falcon darf keine „nationalen, bundesstaatlichen, staatlichen, lokalen oder internationalen Gesetze oder Vorschriften“ verletzen, dementsprechend müssen sich Anwender:innen intensiv mit den Gesetzen des Golfstaats auseinander setzen.

AI Foundation Models haben große Defizite bei Urheberrecht & Energieverbrauch