Databricks mischt Open-Source-LLMs mit DBRX auf, schlägt GPT-3.5 und Mistral

Es soll Ai-Modelle von Meta, Mistral, OpenAI und xAI shclagen und dabei nur 10 Millionen Dollar gekostet haben: Das auf Big Data spezialisierte Tech-Unternehmen Databricks will die Konkurrenz vorführen und hat mit DBRX ein neues LLM vorgestellt, dass neue Standards im Open-Source-Bereich setzen soll. Benchmark-Tests sollen zeigen, dass DBRX in Sachen Sprachverständnis, Programmierung, Mathematik und Logik besser ist als Llama 2 70B vo Meta, Mxtral-8x7B von Mistral AI, Grok-1 von xAI oder sogar GPT-3.5 von Open AI.

„Wir freuen uns über DBRX aus drei zentralen Gründen: Erstens, es schlägt Open Source-Modelle nach modernen Industrie-Benchmarks. Zweitens, es schlägt GPT-3.5 nach den meisten Benchmarks, was den Trend beschleunigen sollte, den wir über unsere Kunden hinweg beobachten: Organisationen ersetzen proprietäre Modelle mit Open Source-Modellen. Und zu guter Letzt nutzt DBRX eine „Mixture-of-Experts“-Architektur, was dazu führt, dass das Modell sehr schnell ist, wenn man die Tokens per Sekunde als Maßstab nimmt. Darüber hinaus ist es kostengünstig zu betreiben“, so Ali Ghodsi Co-Gründer und CEO von Databricks, in einer Aussendung. „Insgesamt gesehen, setzt DBRX neue Standards für Open Souce LLMs. Sie gibt Unternehmen eine Plattform, um maßgeschneiderte Schlussfolgerungen auf der Grundlage ihrer eigenen Daten zu treffen.“

Mosaic entwirft nach Übernahme durch Databricks DBRX

Databricks hat sich durch den Zukauf des Generative AI-Startups Mosaic um 1,3 Mrd. Dollar im Vorjahr sowie ein Investment in das Pariser AI-Startup Mistral AI selbst ins heiß umkämpfte Rennen um Large Language Models geworfen. Logisch, dass DBRX von von Mosaic AI entwickelt und auf NVIDIA DGX Cloud trainiert wurde. Accenture, das US-Fintech Block, die US-Technologiebörse Nasdaq oder die Prosus Group, die unter anderem bei GoStudent investiert ist, haben bereits angekündigt, DBRX einsetzen oder den Einsatz zumindest prüfen zu wollen.

An DBRX wird man in nächster Zeit nicht vorbeikommen. Es ist auf GitHub und Hugging Face für die Forschung und den kommerziellen Gebrauch freigegeben, es kann über die Databricks-Plattform aufgerufen und mit eigenen privaten Daten selbstgebaute DBRX-Modelle erstellt werden, und via AWS, Google Cloud und Microsoft Azure ist das Open-Source-Modell ebenfalls verfügbar.

Was auch klar ist: Zwar kann sich DBRX mit GPT-3.5 und anderen offenen AI-Modellen messen, kommt aber nicht an die derzeit besten proprietären Modelle wie GPT-4, Gemini von Google, Claude 3 von Anthropic oder auch die neuesten Mistral-Modelle nicht heran. Wie berichtet, ist klar: Wer mit Open Source arbeitet, bekommt meistens die schlechteren AI-Modelle. Daran ändert auch DBRX nichts.

Wer mit Open Source arbeitet, bekommt meist die schlechteren AI-Modelle