Mistral AI liefert das neueste europäische LLM ab – und will Metas Llama übertreffen
Als im Juni 2023 das französische Startup Mistral AI mit wenig mehr als einem Pitchdeck 105 Mio. Euro Investment erhielt, schüttelten viele den Kopf. Wollte da wer am ChatGPT Trittbrettfahren und schnell mal abstauben? Jetzt aber liefert Mistral AI ab, und zwar das erste offene Large Language Model (LLM), das sich im Prinzip jede:r runterladen und zu eigenen Zwecken einsetzen kann. Mistral 7B soll es dabei vor allem mit Llama 2, also dem Open-Source-KI-Modell von Meta, aufnehmen können. GPT-4 von OpenAI ist aber weiter unerreicht.
Mit seinen generativen KI-Modellen will Mistral AI, das von ehemaligen Deepmind- und Meta-Köpfen gegründet wurde, zum einen die Open-Source-Community und zum anderen Unternehmen bedienen. Mistral 7B ist der erste Wurf des französischen Startups – und Mistral 7B neben Luminous von Aleph Alpha aus Deutschland eines der wenigen LLMs, die es aktuell in Benchmark-Tests mit den LLMs von US-amerikanischen Software-Unternehmen wie Google oder Meta aufnehmen kann. Mit Mistral 7B soll man etwa auch KI-Chatbots, wie man sie bereits von ChatGPT kennt, bauen können, oder Zusammenfassung, Strukturierung und Fragestellung von Text bewerkstelligen.
„Wir veröffentlichen heute Mistral 7B, unser erstes Modell mit 7B-Parametern, das alle derzeit verfügbaren offenen Modelle mit bis zu 13B-Parametern in allen standardmäßigen englischen und Code-Benchmarks übertrifft. Dies ist das Ergebnis von drei Monaten intensiver Arbeit, in denen wir das Mistral-KI-Team zusammengestellt, einen leistungsstarken MLops-Stack neu aufgebaut und eine hochentwickelte Datenverarbeitungspipeline von Grund auf entwickelt haben“, heißt es in einer Aussendung des Unternehmens.
Mistral AI: 105 Millionen Euro für ein Startup klingen viel, sind aber eigentlich wenig
Nicht ganz offen, um Geld zu verdienen
Dass Mistral 7B einfach kostenlos geladen werden kann, bedeutet aber nicht, dass es komplett Open Source ist. Denn Mistral AI erlaubt es jedem unter Apache 2.0, das LLM in der eigenen Cloud oder auf eigenen Rechnern zu installieren, aber wer das LLM dann genau zu eigenen Zwecken maßschneidern will, der muss Kunde von Mistral AI werden – nur so wird man auch die Gewichte als auch Code-Quellen zur Verfügung gestellt bekommen. „Wir arbeiten aktiv an gehosteten Lösungen und einer speziellen Bereitstellung für Unternehmen“, heißt es seitens Mistral AI.
Mit 7 Milliarden Parametern (7B) ist Mistral 7B ein verhältnismäßig kleines LLM – Llama 2 von Meta etwa kommt mit bis zu 34B daher, Falcon des Technology Innovation Institute (TII) aus Abu Dhabi sogar mit 180B, und GPT-4 soll 8 jeweils etwa 220B Parameter große Modelle miteinander kombinieren. Doch solch große generative LLMs sind andererseits auch sehr teuer im Betrieb, weil sie enorme GPU-Rechenpower brauchen, während kleinere LLMs deutlich weniger Ressourcen brauchen. Im Falle von Mistral 7B wird aber erst die Praxis zeigen, wie gut es sich bewährt – vor allem in anderen Sprachen als Englisch.
Mistral AI ist als europäisches Unternehmen deutlich gegen die US-Anbieter, allen voran OpenAI, Google, Amazon und Meta, gerichtet. „Wir sind der festen Überzeugung, dass wir durch das Training unserer eigenen Modelle, deren Veröffentlichung und die Förderung von Beiträgen der Community eine glaubwürdige Alternative zum entstehenden KI-Oligopol aufbauen können. Generative Modelle mit offenem Gewicht werden in der kommenden KI-Revolution eine zentrale Rolle spielen“, heißt es. Mistral 7B sei erst der erste Schritt, man würde bereits weitere, viel größere Modelle mit „neuartigen Architekturen“ trainieren.
Falcon 180B: Neues Sprachmodell will Google und Meta schlagen, aber nicht GPT-4
