GPTZero, Writer und Co: Diese Tools wollen ChatGPT-Plagiate aufspüren

Das Unternehmen OpenAI und seine eindrucksvollen KI-Anwendungen haben definitiv nicht nur Fans. Denn es gibt auch starke Bedenken, dass bald viel Missbrauch mit diesen Tools betrieben wird. Von gefälschten Hausaufgaben und Masterarbeiten in der Schule und an der Uni, Kunstwettbewerben, die von Maschinen gewonnen werden, bis hin zu journalistischen Texten, an denen Menschen kaum Anteil hatten: ChatGPT, DALL-E und Co bringen Skeptiker:innen ganz schön ins Schwitzen. Doch es gibt gleichzeitig auch Anwendungen, die dem Einhalt gebieten wollen.

Mehrere Tools rühmen sich derzeit damit, Betrug durch ChatGPT aufdecken zu können. Wir haben uns die drei Beispiele GPTZero, AI Content Detector und GPT-2 Output Detector näher angeschaut. Alle drei befinden sich derzeit noch in der Testphase und sind zumindest teilweise kostenlos zugänglich. Sie funktionieren im Grunde alle nach dem gleichen Prinzip: In einem Textfeld können User:innen einen Text eingeben, woraufhin das System analysiert, ob eine KI wie beispielsweise ChatGPT ihn verfasst hat. Alternativ ist es bei GPTZero und AI Content Detector auch möglich, eine Datei oder URL hochzuladen.

Midjourney, Dall-E & Imagen: Der unaufhaltsame Aufstieg der AI-Bilder

GPTZero: Das Anti-Plagiats-Tool für Unterrichtende

Das Konzept zur US-Anwendung GPTZero ist an der Universität Princeton entstanden. Edward Tian, ein 22-jähriger Informatikstudent an der renommierten Bildungseinrichtung, hat das Tool entwickelt und Anfang Jänner an den Start gebracht. Vor allem Unterrichtende sind die Zielgruppe der Anwendung. Laut Washington Post rechnete Tian damit, dass nur wenige Dutzend Menschen das Programm verwenden würden. Mittlerweile habe es die Website jedoch bereits zu mehr als sieben Millionen Aufrufen gebracht.

Edward Tian ist der Meinung, dass eine KI-Technologie wie ChatGPT auf verantwortungsvolle Weise verwendet werden muss. Viele Unterrichtende an der Princeton University seien besorgt darüber, dass sich in Zukunft Plagiate und gefälschte Arbeiten häufen könnte. GPTZero soll das verhindern, indem es einige Eigenschaften im Text misst, um festzustellen, ob die Schrift komplex und vielfältig genug ist, um von einem Menschen verfasst zu sein. Die wichtigsten Kriterien für menschliches Schreiben sind die „Perplexität“, also die Zufälligkeit, und die Sprunghaftigkeit des Textes. Das bedeutet, dass eine KI immer bestimmten Mustern folgt, während Menschen etwas unberechenbarer schreiben.

Doch wie funktioniert GPTZero in der Praxis? Wir haben mehrere Texte in das System eingespeist, darunter selbst verfasste Artikel sowie aus ChatGPT generierte Schriften. Gleich vorweg: GPTZero kann nur auf Englisch verfasste Texte akkurat analysieren. Auf Deutsch verfasste Schriften werden von dem System praktisch immer als von Menschen verfasst eingestuft, auch wenn sie aus ChatGPT stammen (ChatGPT kann auch deutsche Artikel schreiben).

Doch auch bei englischen Texten ist das Tool nicht immer akkurat. Gibt man einen Text bei GPTZero ein, gibt das System ihm eine Bewertung auf Perplexität und Sprunghaftigkeit. Es hebt außerdem hervor, welche Sätze besonders auffällig und am wahrscheinlichsten durch eine KI geschrieben wurden. Bei unserem Test konnte das Tool teilweise zwischen menschlichen und maschinellen Schreibweisen unterscheiden. Doch einige wenige Änderungen können das Tool wiederum täuschen. Interessierte können das Programm bereits kostenlos testen.

Künstliche Intelligenz hat deutlich höheren CO2-Abdruck als erwartet

AI Content Detector: Digitale Spürnase aus dem Silicon Valley

Bei AI Content Detector handelt es sich um eine Anwendung von Writer, einem 2020 ins Leben gerufenen Silicon Valley-Startup, das Teams von Unternehmen beim Schreiben mit KI-Tools unterstützt. Unter anderem bietet das Jungunternehmen mit „Styleguide“ eine Anwendung, die dabei hilft, einen bestimmten und konstanten Designstil beizubehalten. Ebenfalls bietet Writer mit „Snippets“ die Möglichkeit, bestimmte Bausteine in jeden Text einzubauen, sowie „CoWrite“, das es User:innen ermöglichen soll, ihre eigene Text-KI zu trainieren. Zu den Kunden der Firma zählen unter anderem L’Oreal, HubSpot und Spotify.

Mit dem AI Content Detector will Writer es nun auch ermöglichen, Texte auf Spuren von KI-Hilfe zu untersuchen. Das Tool funktioniert nach dem gleichen Prinzip wie GPTZero: Text eingeben und auf die Analyse warten. Auch das Programm von Writer funktioniert bei deutschen Texten nicht. Dagegen fällt diese Anwendung bei englischen Schriften meist nicht auf ChatGPT herein. Eine Bewertung in Prozent zeigt, welcher Anteil der Texte von Menschenhand stammt.

Aber auch hier ist ein leichtes Umschreiben (durch einen Menschen, wohlgemerkt) ein Weg, um das System in die Irre zu führen. Writer lässt User:innen in der Testphase nur Texte mit 1.500 Zeichen kostenlos übersetzen. Doch zahlenden Kund:innen der Jungfirma ist es erlaubt, jeden Monat 500.000 Wörter zu analysieren.

Multi-Milliarden-Investment in ChatGPT-Macher OpenAI durch Microsoft

GPT-2 Output Detector: Das hauseigene Tool der ChatGPT-Macher

Nicht nur Student:innen oder Startups wollen Missbrauch mit ChatGPT bekämpfen: Auch Entwickler OpenAI selbst will etwas dagegen unternehmen. Seine Lösung: Der GPT-2 Output Detector, ein Tool, das sich noch in der Experimentierphase befindet. Als Basis nutzt das Tool das Machine Learning-Modell RoBERTa des KI-Unternehmens Hugging Face. Wie bei den anderen Anwendungen ist eine Analyse eines deutschen Texts noch keine echte Option.

Besonders beeindruckend ist in diesem Fall die Schnelligkeit der Analyse. Zwar sind GPTZero und AI Content Detector nicht langsam, doch bei GPT-2 Output Detector ist der Vorgang fast augenblicklich. Auch hier erkennt das System KI-Erzeugnisse – vorausgesetzt, sie werden nicht umgeschrieben. Auch dieses Tool befindet sich noch in der Entwicklungsphase. Das zeigt sich deutlich am eher spartanischen Layout der Website.

Storyclash: Linzer Startup nutzt KI von OpenAI für Influencer-Marketing

ChatGPT-Untersuchungen oft leicht manipulierbar

Das Problem bei allen drei untersuchten Programmen: „Umgeschrieben“ ist ein ChatGPT-Text schon, wenn ein paar Buchstaben fehlen oder ein Rechtschreibfehler eingebaut wird. Bei Writer zum Beispiel können schon zwei falsch geschriebene Wörter die gemessene Wahrscheinlichkeit, dass ein Mensch den Text verfasst hat, von 23 Prozent auf mehr als 60 Prozent heben. Beim GPT-2 Output Detector ist dieser Effekt weniger stark, doch ein paar Schreibfehler können die Bewertung immerhin um etwa zehn Prozent heben.

Plagiate und andere problematische Inhalte per KI zu identifizieren, könnte für Bildungseinrichtungen und andere Institutionen in Zukunft sehr wichtig sein. Schließlich entwickelt sich auch ChatGPT selbst ständig weiter. Bald könnten Menschen selbst nicht mehr in der Lage sein, einen von Menschenhand verfassten Text von einem KI-Werk zu unterscheiden. Zwar können die bestehenden Anwendungen hier schon helfen, jedoch sind sie keineswegs zu 100 Prozent verlässlich. Noch ist es möglich, sie ohne großen Aufwand auszutricksen. Hier ist in Zukunft wohl noch viel Training per Machine Learning nötig, um ihnen die Detektivarbeit zu erleichtern. Außerdem sollten die Programme ihre Sprachoptionen bald erweitern, um nicht gegenüber der Entwicklung von ChatGPT zurückzufallen.