Ist ein Chatbot von Character.ai Schuld am Selbstmord eines Jugendlichen?
Ein Teenager aus Florida, der eine enge emotionale Bindung zu einem KI-Chatbot aufgebaut hatte, nahm sich nach monatelangen intensiven täglichen Interaktionen auf Character.AI, einer führenden KI-Begleitplattform, das Leben. Der 14-jährige Sewell Setzer III tauschte seine letzten Nachrichten mit „Dany“, einem KI-Charakter basierend auf einer Figur aus Game of Thrones, aus, bevor er am 28. Februar Suizid beging, berichtet seine Mutter gegenüber der New York Times.
Die Mutter plant eine Klage gegen Character.AI einzureichen, in der sie behauptet, dass die „gefährliche und ungetestete“ Technologie der Plattform zu seinem Tod geführt habe. Das auf 1 Milliarde Dollar geschätzte Unternehmen, das eigenen Angaben zufolge 20 Millionen Nutzer:innen zählt, kündigte als Reaktion darauf an, neue Sicherheitsfunktionen für Minderjährige einzuführen, darunter Zeitlimits und erweiterte Warnhinweise für Diskussionen über Selbstverletzung.
Character.AI kündigt neue Sicherheitsmaßnahmen an
Das Unternehmen wolle mit den angekündigten Maßnahmen sicherstellen, dass insbesondere jüngere Nutzer geschützt werden und problematische Inhalte schneller erkannt werden können. Angekündigt wurde, die Wahrscheinlichkeit für Minderjährige (unter 18 Jahren) zu verringern, auf sensible oder anzügliche Inhalte zu stoßen zu können. Auch soll es eine „verbesserte Erkennung, Reaktion und Intervention in Bezug auf Nutzereingaben, die gegen unsere Nutzungsbedingungen oder Community-Richtlinien verstoßen, geben.
Weiters findet sich nun ein „überarbeiteter Haftungsausschluss“ in jedem Chat, um die Nutzer daran zu erinnern, dass die KI keine echte Person ist. Nach einer Stunde Nutzung bekommen die User auch einen Zeithinweis
Generell ist das Startup 2024 ordentlich durchgebeutelt worden. Denn die Gründer des Startups, Noam Shazeer und Daniel De Freitas, sind kürzlich von Google, das sich in einem harten Wettrennen mit OpenAI um die Vormacht in Sachen Large Language Models befindet, engagiert worden, um bei AI-Modellen zu helfen. Im Oktober verkündete Charater.ai dann, dass man nach dem Ausstieg der Founder die Entwicklung von AI-Modellen eingestellt hat.
Debatte über Regulierung von KI-Technologien
Der tragische Fall wirft ein Schlaglicht auf die wachsende Debatte über die Regulierung von KI-Technologien. Während Befürworter argumentieren, dass KI große Potenziale bietet und Innovation nicht gebremst werden sollte, fordern Kritiker strengere Regeln zum Schutz der Nutzer, insbesondere von Kindern und Jugendlichen.
Die geplante Klage gegen Character.AI könnte ein wichtiger Präzedenzfall werden und die Diskussion weiter befeuern. Es bleibt abzuwarten, wie sich die Plattform und andere Anbieter von KI-Technologien positionieren werden und welche konkreten Maßnahmen zur Erhöhung der Sicherheit ergriffen werden.
