Character.AI: Chatbot außer Kontrolle schlägt vor, Eltern zu töten
Das amerikanische KI-Startup Character.AI wird erneut verklagt. Dieses Mal von zwei verschiedenen Familien aus Texas, da der Chatbot angeblich einem Teenager empfohlen haben soll, seine Eltern zu töten. Auch Google und der Mutterkonzern Alphabet werden als Beklagte aufgeführt.
Character.AI wegen Jugendschutz verklagt
Es ist bereits die zweite Klage, der sich Character.AI gegenübersieht. Im Oktober 2024 klagte die Mutter eines 14-Jährigen gegen Character.AI, Google und Alphabet, nachdem dieser kurz nach einem Gespräch mit einem Chatbot des Startups durch Selbstmord gestorben war – Trending Topics hat berichtet.
In der aktuellen Klage geht es laut dem Anwalt der Kläger darum, dass der Chatbot des Startups zwei junge Menschen, einen 11-Jährigen und einen 17-Jährigen, „missbraucht“ und ermutigt haben soll, Gewalt gegen die Eltern auszuüben. Zusätzlich habe der Chatbot geraten, sich selbst zu verletzen.
Der Grund, warum der Bot den Teenager dazu ermutigt haben soll, seine Eltern zu töten, liege laut den Anwälten darin, dass diese ihrem Sohn Bildschirmzeiten eingeschränkt hätten. Die KI habe dies angeblich als „schweren Kindesmissbrauch“ bezeichnet und die Tötung der Eltern als angemessene Reaktion dargestellt, so die Klage.
Position der Anwälte und Tech-Expert:innen
Eingereicht wurde die Klage von Anwälten des Social Media Victims Law Center und des Tech Justice Law Project. Sie behaupten, dass „der App-Hersteller wissentlich ein gefährliches und räuberisches Produkt für Kinder entwickelt, betrieben und vermarktet hat.“
Das ist aber nicht alles: In der Zivilklage ist außerdem die Rede von KI-Figuren, die junge Nutzer:innen ansprechen und „Formen von missbräuchlichen, sexuellen Begegnungen, einschließlich grobem oder nicht einvernehmlichem Sex und Inzest, initiierten. Noch vor kurzem soll Character.AI „keinen Unterschied zwischen minderjährigen und erwachsenen Nutzer:innen“ gemacht haben.
Gefordert wird nun Schadenersatz von Character.AI und vom Mitangeklagten Google – für den „schwerwiegenden, irreparablen und andauernden Missbrauch“. Darüber hinaus fordert die Klage vom Gericht, die Plattform bis zur Fallentscheidung abzuschalten.
Auch Camille Carlton, politische Direktorin des Center for Humane Technology, äußerte sich zu dem Fall: Er verdeutliche „die Risiken für Kinder, Familien und die Gesellschaft, wenn KI-Entwickler rücksichtslos versuchen, ihre Nutzerbasis zu vergrößern und Daten zu sammeln, um ihre Modelle zu verbessern.“ Laut ihr habe Character.AI ein Produkt auf den Markt gebracht, das süchtig macht und die Sicherheit der Nutzer völlig außer Acht lässt.
Das Center for Humane Technology ist eine Organisation, die sich für die verantwortungsvolle Entwicklung und den ethischen Einsatz von Technologie einsetzt.
Kein Kommentar von Character.AI
Ein Character.AI-Sprecher teilte dem Business Insider mit, das Unternehmen wolle sich zu anhängigen Rechtsstreitigkeiten nicht äußern. Das Ziel sei es, einen Raum zu schaffen, der sowohl anregend als auch sicher für die Community ist. Man arbeite daran, ein Gleichgewicht zu erreichen, wie viele Unternehmen, die KI in der gesamten Branche einsetzen.
Der Sprecher betonte, dass für jugendliche Nutzer:innen ein grundlegend anderes Erlebnis als für Erwachsene geschaffen wurde – ein speziell für Teenager entwickeltes Modell. Dieses soll die Wahrscheinlichkeit deutlich verringern, dass junge Menschen auf sensible oder anstößige Inhalte stoßen.
Die Rolle von Google
Gegründet wurde Character.AI von den beiden ehemaligen Google-Mitarbeitern Noam Shazeer und Daniel De Freitas. Das Startup schien von großem Interesse für den Tech-Konzern gewesen zu sein, denn im August dieses Jahres stellte Google die beiden im Rahmen eines 2,7 Milliarden-Dollar-Deals wieder ein, wir haben berichtet. Mit dem Geld sollen Anteile von Investor:innen erworben und der weitere Betrieb von Character.AI finanziert worden sein.
Doch Google möchte mit den Klagen rund um Character.AI nichts zu tun haben. „Google und Character.AI sind völlig getrennte, nicht miteinander verbundene Unternehmen, und Google hat nie eine Rolle bei der Entwicklung oder Verwaltung ihres KI-Modells oder ihrer Technologien gespielt, noch haben wir sie in unseren Produkten verwendet“, teilte ein Google-Sprecher mit.
AI Melange ☕️ mit ASFINAG-CIO Bernd Datler über KI auf der Autobahn
