Googles AI-Chatbot Gemini schlägt erstmals GPT-4o

Lange war OpenAi mit seinem aktuell besten und größten AI-Modell GPT-4o an der Spitze. Doch die Konkurrenz holt zunehmend auf. So ist es nun Google mit Gemini 1.5 Pro in seiner neuesten Version gelungen, den bisherigen Spitzenreiter von Platz 1 des wichtigen Chatbot Arena Leaderboard zu verdrängen. Dort werden AI-Modelle von zehntausenden Nutzer:innen direkt vergleichen – etwa in unterschiedlichen Sprachen, bei Argumentationen oder im Coding.

Bei dem AI-Modell von Google, das erstmals einen Score von 1.300 erreichte, handelt es sich um Gemini 1.5 Pro in der experimentalen Version mit der Nummer 0801. Es ist aktuell über das Google AI Studio und die Gemini-API verfügbar, und kann eben auch in der Chatbot Arena ausprobiert werden. Dass Gemini 1.5 Pro nun GPT-4o doch deutlich um 14 Punkte überholen konnte, zeigt, dass 2024 ein Wendejahr bei LLMs ist. 2023 War das Feld fast komplett ChatGPT überlassen, 2024 holt die Konkurrenz von OpenAI stark auf.

Neben Googles Gemini mischt noch ein anderes AI-Modell das Ranking auf. Es handelt sich dabei natürlich um Llama 3.1 von Meta Platforms. Dieses wird in einer offenen, wenn auch nicht astreinen Open-Source-Variante angeboten und kann unter Einhaltung von Nutzungsbedingungen prinzipiell von jedem geladen und genutzt werden. Die Facebook-Mutter Meta möchte damit die proprietären und kostenpflichtigen AI-Modelle von OpenAI, Anthropic und Google unterbieten und setzt darauf, möglichst viele Entwickler:innen von den Mitbewerbern wegzuholen und an sich zu binden.

Meta Llama 3.1 in den Top 5

Metas Llama 3.1 liegt nunmehr auf Augenhöhe mit etwas älteren Gemini- und GPT-4-Modellen sowie mit Claude 3.5 Sonnet von Anthropic, kommt aber an die Top-Modelle von OpenAI und Google (zumindest in diesem Ranking) nicht ganz heran. In Sachen Mathematik und Coding ist übrigens aktuell Claude 3.5 Sonnet, in unterschiedlichen Sprachen wie Englisch, Deutsch oder Französisch ist Gemini derzeit am besten.

Dieses Ranking ist aber nicht in Stein gemeißelt, und verändert sich durch Releases immer neuer AI-Modelle permanent. Meta hat gerade erst Llama 3.1 vorgelegt, zu erwarten ist, dass OpenAI bald mit GPT-5 oder Sora um die Ecke kommt, und auch bei Google und Anthropic deuten die Zwischenversionen (1.5 bzw. 3.5) darauf hin, dass bereits an den 2er- bzw. 4er-Versionen der Modelle gewerkt wird.