Stanford University untersucht Transparenz von LLMs und ist besorgt über Ergebnisse
Large Language Models (LLMs), die speziell für die Erzeugung textbasierter Inhalte entwickelt wurden, versprechen eine neue KI-Ära. Allerdings weisen Wissenschaftler:innen der Stanford University nun auf einen zunehmenden Mangel an Transparenz hin. Das mag für viele eher wenig überraschend sein, da zahlreiche KI-Unternehmen derzeit mit Vorwürfen und Klagen zu kämpfen haben, bei denen der Mangel an Transparenz eine wichtige Rolle spielt. Um Herausforderungen wie diesen in Zukunft besser begegnen zu können haben Forscher:innen der Stanford Universität, im Rahmen einer neuen Studie, einen Index entworfen, der dazu dienen soll, die Transparenz von Unternehmen in Bezug auf ihre KI-Modelle zu bewerten. OpenAI wies dabei lediglich eine Transparenzbewertung von 47% auf.
Verschleierung als “ Vorsichtsmaßnahme“
Unternehmen, die für die „großen KI-Sprachmodelle“ verantwortlich sind, betonen zwar stets ihren Wunsch, Gutes durch künstliche Intelligenz zu bewirken, weisen jedoch fragwürdige Auffassungen hinsichtlich Offenheit und Transparenz auf. So hat OpenAI den Mangel an Transparenz kürzlich als „Vorsichtsmaßnahme“ bezeichnet. „Wir glauben jetzt, dass wir mit unseren ursprünglichen Überlegungen zur Offenheit falsch lagen und sind von der Annahme, wir sollten alles freigeben, zu der Überzeugung übergegangen, dass wir herausfinden sollten, wie wir den Zugang zu den Systemen und die Vorteile der Systeme sicher teilen können“, hieß es in einem offiziellen Blog-Beitrag.
Center for Research on Foundation Models untersucht Transparenzfrage
Mit dem Zusammenhang von Transparenz und KI-Modellen hat sich auch Rishi Bommasani, Society Lead bei CRFM (Center for Research on Foundation Models), intensiv beschäftigt. Er fordert von Unternehmen im Foundation Model-Bereich mehr Transparenz. Die aktuelle Undurchsichtigkeit stelle nämlich „Unternehmen, politische Entscheidungsträger:innen und Verbraucher:innen gleichermaßen vor Herausforderungen“.
Die neue Studie, an der er gemeinsam mit seinem Team arbeitete, soll für mehr Klarheit im Transparenzchaos sorgen. Konkret stammt sie vom Center for Research on Foundation Models der Universität, einem Teil des Stanford Institute for Human-Centered Artificial Intelligence, das grundlegende KI-Modelle untersucht und entwickelt. Die Ergebnisse der Untersuchungen würden deutlich darauf hinweisen, dass wichtige KI-Grundlagenmodelle wie ChatGPT, Claude, Bard und LlaM-A-2 immer mehr an Transparenz verlieren.
Entwicklung des Foundation Model Transparency Index (FMTI)
Um künftig effektiver gegen diese Herausforderungen vorzugehen, hat Bommasani auch in Zusammenarbeit mit Forscher:innen von den Universitäten Stanford, Princeton und dem MIT, den „Foundation Model Transparency Index“ (FMTI) entwickelt. Dieser Index soll eine umfangreiche Bandbreite von Aspekten, die einen umfassenden Einblick in die Transparenz von Unternehmen hinsichtlich ihrer KI-Modelle bieten können. Das Ranking beinhaltet Faktoren wie die Vorgehensweise eines Unternehmens bei der Entwicklung seines Basismodells, die Zugänglichkeit seiner Datensätze, die Funktionsweise des Modells sowie dessen nachgelagerte Verwendung.
Die Ergebnisse betrachteten die Forscher:innen als besorgniserregend: Die höchsten Werte lagen zwischen 47 und 54 auf einer Skala von 0 bis 100, wobei Metas Lama 2 die Spitzenposition einnahm. OpenAI wies eine Transparenzbewertung von 47% auf, Google erzielte lediglich 41%, und Anthropic erreichte eine Transparenzbewertung von 39%.
„Transparenz eine bedeutende politische Priorität“
Auf die Frage, warum die Schaffung von Transparenz so bedeutend sei, argumentierte das Team hinter der Studie wie folgt: „Mit einer geringeren Transparenz wird es für andere Unternehmen zunehmend schwierig zu ermitteln, ob sie sicher Anwendungen entwickeln können, die auf kommerziellen Basismodellen basieren. Die begrenzte Transparenz stellt außerdem eine Herausforderung für Akademiker:innen dar, die auf kommerzielle Basismodelle angewiesen sind, um ihre Forschung durchzuführen. Für politische Entscheidungsträger:innen wird es zudem anspruchsvoller, sinnvolle Richtlinien zu entwickeln, um den Einsatz dieser leistungsstarken Technologie effektiv zu regulieren, wenn die Transparenz fehlt. Ebenso müssen Verbraucher:innen die Funktionsbeschränkungen des Modells verstehen oder möglicherweise Wiedergutmachung für entstandene Schäden einfordern, da die Transparenz unzureichend ist.“
Adept AI veröffentlicht Open-Source-LLM „Fuyu 8B“ mit guter Bilderkennung
