Ist der Text echt oder gefälscht? Mit Hilfe der Wissenschaft den Unterschied erkennen

KI-Technologien wie ChatGPT sorgen für Schlagzeilen. Vom Schreiben von Gedichten in einem Stil, der an das England des 16. Jahrhunderts erinnert, bis hin zum Verfassen von akademischen Forschungsarbeiten – Chatbots, die für reale Dienste entwickelt wurden, werden hier nichts erreichen.

Tatsächlich werden diese gar nicht so schlechten Schauspieler in ihrem Handwerk aber immer besser werden. Werden wir in der Lage sein, uns nicht von diesen Verarbeitungsmodellen der natürlichen Sprache täuschen zu lassen, die sich in unserer Gesellschaft immer mehr durchsetzen?Ein Forscherteam der University of Pennsylvania School of Engineering and Applied Science in den Vereinigten Staaten hat die bisher größte menschliche Studie zur KI-Erkennung durchgeführt, um hier weiterzuhelfen. Sie sammelten Daten aus dem webbasierten Übungsspiel „Real or Fake Text?“ („Echter oder künstlich erschaffener Text?“), das von der Universität selbst entwickelt wurde.

Die Ergebnisse werden in einer wissenschaftlichen Veröffentlichung auf einer Tagung der Association for the Advancement of Artificial Intelligence im Februar vorgestellt. Die Studie kam zu der Erkenntnis, dass wir lernen können, den Unterschied zwischen von Menschen geschriebenem und maschinell erzeugtem Text zu erkennen.

„Wir haben gezeigt, dass Menschen sich selbst darin schulen können, maschinell erzeugte Texte zu identifizieren“, erklärte Chris Callison-Burch, außerordentlicher Professor an der Fakultät für Computer- und Informationswissenschaften (Department of Computer and Information Science, CIS) in einer Pressemitteilung. Die Menschen stützen sich auf bestimmte Annahmen darüber, welche Art von Fehlern eine Maschine machen würde, doch diese Annahmen sind nicht unbedingt zutreffend. Mit ausreichend Beispielen und expliziten Anweisungen können wir mit der Zeit lernen, die Arten von Fehlern zu erkennen, die von Maschinen derzeit erzeugt werden.“„KI ist heute erstaunlich gut darin, sehr flüssige und grammatikalisch korrekte Texte zu produzieren“, erklärt Liam Dugan, Mitautor der Studie und Doktorand am CIS. „Doch sie macht Fehler. Wir beweisen, dass Maschinen für bestimmte Arten von Fehlern anfällig sind – wie etwa Fehler des gesunden Menschenverstands, Relevanzfehler, Denkfehler und logische Fehler – die wir erkennen können.“

„Die Menschen sind aus gutem Grund besorgt über künstliche Intelligenz“, fügte Forschungsleiter Prof. Callison-Burch hinzu. „Unsere Studie liefert Anhaltspunkte, die diese Befürchtungen zerstreuen können. Sobald wir unseren Optimismus in Bezug auf KI-Textgeneratoren stärken können, werden wir in der Lage sein, uns der Fähigkeit dieser Werkzeuge zu widmen – nämlich uns beim Schreiben von fantasievolleren, interessanteren Texten Unterstützung zu bieten.“

„Mein Gefühl ist im Moment, dass diese Technologien am besten für kreatives Schreiben geeignet sind“, fuhr er fort. „Nachrichtenberichte, Hausarbeiten oder Rechtsberatung sind schlechte Anwendungsfälle, weil es keine Garantie für Faktizität gibt.“

Dugan sieht in all dem das Positive: „Es gibt aufregende positive Richtungen, in die man diese Technologie vorantreiben kann. Die Menschen sind auf die beunruhigenden Beispiele wie Plagiate und Falschmeldungen fixiert, aber wir wissen jetzt, dass wir unsere Lese- und Schreibfähigkeiten durch Schulung verbessern können.“

Wie gut sind Sie nun also? Um das herauszufinden, spielen Sie doch einfach eine der vier Kategorien des Spiels (Kurzgeschichten, Pressemitteilungen, Rezepte, Reden von Präsidentinnen und Präsidenten) mit Tausenden von Texten! Und denken Sie daran: Während Sie Ihre Erkennungsfähigkeiten verbessern, leisten Sie nebenbei auch noch einen Beitrag zur akademischen Forschung.