Mistral AI: Neues Open-Source-Modell Mixtral 8X22B übertrumpft Google und Meta

Nachdem zuletzt Befürchtungen entstanden sind, dass sich das Pariser AI-Startup Mistral AI von seinen Open-Source-Wurzeln entfernen könnte, gibt es nun Grund zum Aufatmen. Denn mit Mixtral 8x22B wurde nun ein sehr starkes AI-Modell unter der Apache 2.0-Lizenz als Open Source veröffentlicht – es steht damit jedem frei, es für welche Zwecke auch immer zu verwenden.

Der Release dürfte aber auch dahingehend gelegt worden zu sein, um der Facebook-Mutter Meta die Latte hochzulegen. Denn Mark Zuckerbergs Online-Konzern steht kurz davor, mit Llama 3 sein neuestes und bisher bestes Large Language Model (LLM) zu veröffentlichen. Dieses hat 2023 für einige Furore gesorgt, wurde aber mittlerweile von anderen Open-Source-Modellen doch eingeholt. In Rankings und Benchmarks ist es doch deutlich hinter andere zurückgefallen.

Und genau in diese Wunde von Meta streut Mistral AI nun neues Salz. In veröffentlichten Messwerten liegt Mixtral 8x22B deutlich vor Llama 2 von Meta, etwas was Reasoning und Wissen, Mehrsprachigkeit, Mathematik und Coding angeht. Auch gegen das kanadische AI-Startup Cohere mit seinen Modellen Command R und Command R+ teilen die Franzosen aus und setzen ihr neuestes LLM vor deren Kreationen.

Who’s the King of LLM? GPT-4 vs. Claude 3 vs. Gemini 1.5 vs. Mistral Large

Bessere Benchmarks als Llama 2 von Meta und Gemma von Google

Warum der Vergleich mit den offenen AI-Modellen von Google, die wie berichtet auf den Namen Gemma hören, nicht direkt gezogen wird, bleibt derweil unklar. Zieht man die Messwerte heran, die Google zu Gemma 7B und Gemma 2B veröffentlicht hat, liegt Mixtral 8x22B eigentlich deutlich besser. Allerdings ist das Mistral-Modell bei den Parametern auch deutlich größer.

Im Feld der eigenen AI-Modelle löst Mixtral 8x22B seinen Vorgänger Mixtral 8x7B ab. Erstmals geht das französische Startup auch auf ein Kontextfenster von 64.000 Token, was das Verarbeiten größerer Dokumente ermöglichen soll – bisher ist Mistral AI immer mit 32.000 Token gefahren.

„Billiger, besser, schneller, stärker“ will Mistral Ai mit dem neuen LLM sein. Klar ist aber auch, dass die besten proprietären AI-Modelle wie GPT-4 Turbo von OpenAI oder Gemini 1.5 Pro von Google deutlich stärker sind als das nun vorliegende Open-Source-Modell. Es wird sich wohl am ehesten mit dem kommenden Llama 3 von Meta vergleichen müssen.

Gemma: Google launcht Open-Source-AI in Konkurrenz zu Meta und Mistral AI