Llama 3: Meta soll demnächst seine neuesten GPT-Konkurrenten zeigen
Die Entwicklungen im Bereich der AI-Modelle schreitet enorm schnell voran. Als die Facebook- und Instagram-Mutter Meta im Juli 2023 den Angriff auf ChatGPT und GPT-4 mit dem Sprachmodell Llama 2 startete, da war die Entwickler:innen-Welt aus dem Häuschen. Erstmal konnte man ein großes LLM eines der Big-Tech-Konzerne – fast – Open Source verwenden. Doch nicht einmal ein Jahr nach dem Release sieht Llama 2 ziemlich alt aus neben vielen anderen Alternativen.
deswegen überrascht es nicht, dass The Information und Reuters nun übereinstimmend berichten, dass Meta schon bald die ersten Versionen von LLama 3 der Öffentlichkeit präsentieren will. Der große Launch des stärksten Hauptmodells ist den Berichten zufolge für Juli angepeilt, aber schon im April sollen kleinere Versionen von Llama 3 gezeigt werden. Wie bekannt, gibt es Llama 2 in drei unterschiedlichen Versionen, die sich hinsichtlich der Zahl der Parameter (7B, 13B und 70B) unterscheiden.
Von Meta erwartet man nun, dass Llama 3 es mindestens mit GPT4 von OpenAI aufnehmen kann. Wie berichtet, hat es das AI-Startup Anthropic, das massiv durch Finanzierungen von Amazon und Google unterstützt wird, geschafft, sein neuestes AI-Modell Claude 3 GPT-4 in Benchmark-Tests überholen zu lassen. Und: in der in Branchenkreisen beliebten Chatbot Arena ist „Claude 3 Opus“ mittlerweile an GPT-4 vorbei gezogen.
Llama 3 muss es aber eigentlich nicht bloß mit Claude, Gemini von Google oder GPT-4 von OpenAi aufnehmen können, sondern eigentlich auch gleich mit GPT-5. Gerüchten zufolge soll OpenAI bereits im Sommer den Nachfolger von GPT-4 veröffentlichen – und wird damit vermutlich wieder Maßstäbe setzen.
Meta kann mit User-Inhalten arbeiten
Ein Augenmerk von Meta liegt bei Llama 3 darauf, dass das Sprachmodell angemessene Antworten liefern kann. Halluzinationen und Falschinformationen, die von AI-getriebenen Chatbots kommen, sind weiterhin ein großes Problem. Würde Meta solche Probleme ausmerzen können, hätte man bei Llama 3 einen deutlichen Vorteil gegenüber GPT-4, um vor allem mit Unternehmen und Institutionen ins Geschäft zu kommen. Die kleineren Modelle sollen nicht multimodal sein, also nur Text-Output können.
Dass Meta den Release von Llama 3 zweistufig machen könnte, deutet auch darauf hin, dass sich beim Geschäftsmodell etwas ändern könnte. Bisher war Llama 2 ja quasi Open Source, bzw. unter Meta-Lizenz zu bekommen. Mittlerweile kristallisiert sich heraus, dass Player wie Mistral AI und Google ihre schwächeren AI-Modelle offen machen, doch ihre stärkeren AI-Modelle proprietär belassen, um via API die Verwendung vergebühren zu können. Ähnlich könnte Meta auch bei Llama 3 verfahren – die nächsten Wochen und Monate werden das zeigen.
Meta hat als Mutter von Facebook und Instagram im Unterschied zu vielen anderen Unternehmen Zugriff auf schier unendliche durch Menschen produzierte Inhalte wie etwa Text-Posts, Bilder oder Videos. Währenddessen etwa ist bekannt, dass OpenAI Millionen Stunden an YouTube-Videos transkribierte, um an Texte von menschlicher Sprache zu kommen; auch gibt Google sehr viel Geld dafür aus, um Reddit-Content zum AI-Training verwenden zu können. Insofern hat Meta als Betreiber der größten Social Networks einen vielleicht entscheidenden Vorteil – die User-Daten.
Llama 2: So funktioniert der Open-Source-Angriff von Meta auf ChatGPT
