Neueste Techniken zur Erkennung von GPT-4 und Claude-generiertem Text

Die sich entwickelnde Landschaft der KI-Textgenerierung

Das Tempo der Fortschritte bei grossen Sprachmodellen war atemberaubend. Von GPT-3, das erstmals demonstrierte, dass KI überzeugende Prosa produzieren kann, über GPT-4 und GPT-4o bis hin zu Anthropics Claude-Familie — jede Generation hat Text erzeugt, der schwieriger von menschlichem Schreiben zu unterscheiden ist. Für alle, die mit der Erkennung KI-generierter Inhalte betraut sind — Lehrpersonen, Verlage, Compliance-Beauftragte — ist das Verständnis dieser Fortschritte und der dagegen entwickelten Erkennungsmethoden unerlässlich.

Dieser Artikel zeichnet die Evolution der KI-Textgenerierung nach, untersucht, warum neuere Modelle grössere Erkennungsherausforderungen darstellen, und gibt einen Überblick über die modernsten Techniken, die entwickelt werden, um diesen Herausforderungen zu begegnen.

Von GPT-3 bis GPT-4o: Eine Erkennungsperspektive

GPT-3 und GPT-3.5 (2020-2022)

GPT-3 mit seinen 175 Milliarden Parametern war ein Durchbruch in der Textgenerierungsqualität. Sein Output wies jedoch mehrere erkennbare Merkmale auf:

• Repetitive Formulierungsmuster, besonders in längeren Texten
• Schwierigkeiten, kohärente Argumente über längere Passagen aufrechtzuerhalten
• Tendenz zu generischem, oberflächlichem Inhalt
• Erkennbare Muster in Satzstruktur und Übergangssprache

GPT-3.5, das Modell hinter der ursprünglichen ChatGPT-Veröffentlichung, verbesserte diese Probleme, behielt aber viele erkennbare Muster bei. Frühe Erkennungstools erreichten hohe Genauigkeitsraten (95%+) gegen GPT-3.5-Output.

GPT-4 (März 2023)

GPT-4 stellte einen bedeutenden Sprung in der Textqualität dar mit verbesserter Argumentation, besserem Zusammenhalt über lange Passagen, grösserer Vokabularvielfalt und verbesserter Fähigkeit, spezifische Tonalitäten und Register anzunehmen.

Diese Verbesserungen machten GPT-4-Text schwieriger zu erkennen, wobei einige Studien einen anfänglichen Rückgang der Erkennungsgenauigkeit um 10-15 Prozentpunkte im Vergleich zu GPT-3.5 zeigten. Erkennungstools passten sich jedoch schnell an.

GPT-4o und GPT-4 Turbo (2024)

OpenAIs GPT-4o-Modell («omni»), veröffentlicht im Mai 2024, brachte multimodale Fähigkeiten und verfeinerte die Textgenerierung weiter. Wichtige Veränderungen aus Erkennungsperspektive:

• Menschlichere Variation in Satzlänge und -struktur
• Bessere Integration fachspezifischen Wissens
• Reduzierte Tendenz zu formelhaften Einleitungen und Schlussfolgerungen
• Verbesserter Umgang mit Nuancen und Ambiguität

Claude 3.5 und Claude 4 (2024-2025)

Anthropics Claude-Modelle haben zusätzliche Erkennungsherausforderungen eingeführt. Claudes Trainingsansatz, der Constitutional AI umfasst, produziert Text mit besonderen Merkmalen:

• Tendenz zu ausgewogenen, sorgfältig abgewogenen Aussagen
• Starke Einhaltung sachlicher Genauigkeit (reduziert halluzinationsbasierte Erkennung)
• Natürlich klingende Einschränkungen und Vorbehalte
• Ein Schreibstil, den viele Lesende als durchdacht und ausgewogen beschreiben

Claude-generierter Text kann besonders schwer zu erkennen sein, weil sein Training explizit auf hilfreiche, harmlose und ehrliche Kommunikation optimiert — Qualitäten, die auch gutes menschliches Schreiben kennzeichnen.

Warum neuere Modelle schwieriger zu erkennen sind

Reduzierte statistische Fingerabdrücke

Jede Generation von Sprachmodellen reduziert die statistischen Fingerabdrücke, auf die Erkennungstools angewiesen sind:

• Perplexitätsverteilungen von GPT-4o-Text überlappen erheblich mit menschlich geschriebenem Text
• Burstiness-Muster in Claude-Output können menschliche Variation eng nachahmen
• Token-Wahrscheinlichkeitsverteilungen werden mit jeder Generation menschenähnlicher

Instruktionsfolgefähigkeiten

Moderne Modelle können detaillierte Anweisungen zum Schreibstil befolgen, was bedeutet, dass Nutzende explizit Merkmale anfordern können, die einfache Erkennungsmethoden besiegen. Anweisungen wie «variiere deine Satzlänge» oder «schreibe in einem lockeren Ton» können Text erzeugen, dem die gleichmässige, polierte Qualität fehlt, nach der Erkennungstools suchen.

Fine-Tuning und benutzerdefinierte Modelle

Die Verfügbarkeit von Fine-Tuning-APIs ermöglicht es Nutzenden, benutzerdefinierte Modellvarianten zu erstellen, die Text mit anderen statistischen Eigenschaften als die Basismodelle produzieren können.

Aktuelle Erkennungsansätze

1. Statistische Methoden

Statistische Erkennungsmethoden analysieren die mathematischen Eigenschaften von Text ohne Rückgriff auf einen trainierten Klassifikator:

• Perplexitäts- und Burstiness-Analyse: Ein grundlegender Ansatz der KI-Erkennung
• Log-Likelihood-Analyse: Untersuchung der Wahrscheinlichkeit, dass ein Sprachmodell jedes Token in Sequenz generieren würde
• DetectGPT (Wahrscheinlichkeitskrümmung): Von Stanford-Forschenden entwickelt, stört diese Methode Text leicht und misst, ob die resultierenden Änderungen die Log-Wahrscheinlichkeit stärker verringern als bei menschlichem Text erwartet
• Entropie-Analyse: Messung des Informationsgehalts auf verschiedenen Ebenen

2. Neuronale Klassifikation

Neuronale Klassifikatoren werden auf grossen Datensätzen trainiert, um unterscheidende Merkmale zu lernen:

• Transformer-basierte Klassifikatoren: Modelle wie RoBERTa, feinabgestimmt auf Erkennungsaufgaben
• Ensemble-Methoden: Kombination mehrerer Klassifikatoren für robustere Vorhersagen
• Adversariales Training: Training von Klassifikatoren gegen adversarial modifizierten KI-Text
• Multi-Modell-Training: Training auf Output mehrerer KI-Modelle für bessere Generalisierung

Die Erkennungs-Engine von AIDetector.ch kombiniert statistische Merkmale mit neuronaler Klassifikation in einer Ensemble-Architektur. Dieser Multi-Signal-Ansatz hilft, die Genauigkeit auch dann aufrechtzuerhalten, wenn einzelne Signale bei neueren Modellen schwächer werden.

3. Wasserzeichen

Wasserzeichen sind ein proaktiver Ansatz, bei dem das KI-Modell selbst ein erkennbares Signal in seinen Output einbettet:

• Statistisches Wasserzeichen: Wie von Kirchenbauer et al. (2023) vorgeschlagen, verzerrt dieser Ansatz die Token-Auswahl des Modells zugunsten einer «grünen Liste» von Tokens und erzeugt ein statistisch erkennbares Muster, das für menschliche Lesende unsichtbar ist
• Semantisches Wasserzeichen: Kodierung von Signalen im semantischen Inhalt des Textes
• Instruktionsbasiertes Wasserzeichen: Einbettung spezifischer Phrasen oder Muster als Wasserzeichen

OpenAI enthüllte 2024, dass es ein effektives Wasserzeichensystem für ChatGPT entwickelt hatte, es aber nicht eingesetzt hatte — aus Bedenken bezüglich Wettbewerbsauswirkungen und potenzieller Verzerrung gegenüber Nicht-Muttersprachlern.

4. Stilometrische Analyse

Ein neuerer Ansatz kombiniert KI-Erkennung mit traditioneller Stilometrie — der statistischen Analyse des Schreibstils:

• Vergleich eines verdächtigen Textes mit dem bekannten Schreibprofil eines Studierenden
• Identifikation von Abweichungen in Vokabularreichtum, Satzkomplexität und stilistischen Präferenzen
• Erkennung plötzlicher Veränderungen in Schreibqualität oder -stil innerhalb eines Dokuments

Dieser Ansatz ist besonders vielversprechend für Bildungskontexte, in denen Referenzschreibproben verfügbar sind.

Das Wettrüsten: Generierung vs. Erkennung

Die Beziehung zwischen Textgenerierung und -erkennung wird oft als Wettrüsten beschrieben. Während sich Erkennungstools verbessern, entwickeln sich auch Umgehungstechniken weiter:

• Paraphrasierungsangriffe: KI-Text durch Paraphrasierungstools laufen lassen, um seine statistischen Eigenschaften zu verändern
• Mensch-KI-Kollaboration: KI zur Entwurfserstellung nutzen und dann wesentlich überarbeiten
• Prompt-Engineering: Prompts erstellen, die das Modell anweisen, in einem «menschlicheren» Stil zu schreiben
• Rückübersetzung: KI-Text in eine andere Sprache und zurück übersetzen, um den statistischen Fingerabdruck zu verändern

Diese Rahmung ist jedoch etwas irreführend. Erkennung muss nicht perfekt sein, um nützlich zu sein. Selbst imperfekte Erkennung dient als Abschreckung und als ein Datenpunkt in einer breiteren Integritätsbewertung.

Die Zukunft der KI-Erkennungstechnologie

Mehrere Entwicklungen werden die nächste Generation von Erkennungstools prägen:

• Herkunftsbasierte Ansätze: Anstatt Texteigenschaften zu analysieren, den Ursprung und Erstellungsprozess von Dokumenten durch Metadaten und digitale Signaturen nachverfolgen
• Kollaborative Erkennungsnetzwerke: Institutionen teilen anonymisierte Erkennungsdaten, um robustere Klassifikatoren zu bauen
• Regulatorische Anforderungen: Der EU AI Act und potenzielle Schweizer Gesetzgebung könnten von KI-Modellen verlangen, erkennbare Marker in ihren Output einzubetten
• Multimodale Erkennung: Da KI-Modelle zunehmend multimodalen Inhalt produzieren, müssen Erkennungstools modalitätsübergreifend analysieren
• Personalisierte Baselines: Aufbau individueller Schreibprofile für jeden Studierenden zur Erkennung von Abweichungen

Praktische Empfehlungen

Für Schweizer Lehrpersonen und Institutionen im Umgang mit den neuesten KI-Modellen:

1. Bleiben Sie aktuell: Erkennungstools werden regelmässig aktualisiert. Nutzen Sie Plattformen wie AIDetector.ch, die mit neuen Modellen Schritt halten.
2. Schichten Sie Ihren Ansatz: Keine einzelne Erkennungsmethode ist ausreichend. Kombinieren Sie automatische Erkennung mit Prozessdokumentation, mündlicher Bewertung und pädagogischem Design.
3. Bilden Sie sich weiter: Das Verständnis, wie KI-Modelle funktionieren, hilft Ihnen, Erkennungsergebnisse zu bewerten und KI-generierten Text manuell zu erkennen.
4. Fokussieren Sie auf das Lernen: Letztlich ist das Ziel nicht, Betrüger zu erwischen, sondern sicherzustellen, dass Studierende tatsächlich lernen. Gestalten Sie Bewertungen, die echtes Engagement lohnender machen als KI-Unterstützung.

Quellen

• OpenAI, «GPT-4 Technical Report», arXiv:2303.08774, 2023.
• Anthropic, «The Claude Model Card and Evaluations», Modelldokumentation, 2024.
• Kirchenbauer, J. et al., «A Watermark for Large Language Models», Proceedings of ICML, 2023.
• Mitchell, E. et al., «DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature», Proceedings of ICML, 2023.
• Sadasivan, V.S. et al., «Can AI-Generated Text be Reliably Detected?» arXiv preprint arXiv:2303.11156, 2023.
• Tian, E. & Cui, A., «Towards Detection of AI-Generated Text using Zero-Shot and Statistical Methods», Princeton University, 2023.
• OpenAI, «Understanding Our Approach to AI Text Watermarking», Blogbeitrag, 2024.
• Europäische Kommission, «Verordnung (EU) 2024/1689 — Gesetz über künstliche Intelligenz», 2024.