0,0041 Prozent. So niedrig beziffert der KI-Detektor Pangram die Rate, mit der er menschlich geschriebene Texte fälschlich als maschinell erzeugt einstuft. 0,34 Prozent stehen für den umgekehrten Fehler. An diesen beiden Zahlen hängt eine Debatte, die ein einzelner Tweet ausgelöst hat. Wer sich länger mit KI-Textdetektoren beschäftigt, merkt schnell: Interessant sind selten diese Werte, sondern der Graubereich dazwischen.
Wie Pangram sein Modell trainiert und woher die niedrige Fehlerquote stammt
Pangram ist kein Regelwerk, sondern ein trainiertes Modell. Es zerlegt einen Text und versucht, einzelne Passagen als eindeutig menschlich, eindeutig KI-generiert oder als Mischung aus beidem zu markieren. Wer genauer wissen will, wie das funktioniert, findet eine veröffentlichte Arbeit des Teams. Entscheidend ist das Training des Pangram-Modells, denn das Modell lernt an Daten, die es sich selbst herstellt.
Man beginnt mit Sammlungen, die sicher von Menschen verfasst wurden. Ein Sprachmodell bekommt den Auftrag, diesen Text zu verstehen und einen neuen Beitrag zum selben Thema zu schreiben. Zusätzlich lässt man dasselbe Modell nur Teile des Originals überarbeiten, sodass Texte entstehen, an denen Mensch und Maschine beteiligt waren. Über diesen Umweg lernt der Detektor, was Co-Autorenschaft auf Satzebene hinterlässt. Ein Rauchmelder arbeitet nach demselben Prinzip: Er erkennt nicht den Brand, sondern das, was der Brand in die Luft abgibt.
Wer die falsche Positivrate des Pangram-KI-Detektors nachschlägt, stößt auf genau diese 0,0041 Prozent. Es handelt sich um eine Angabe des Teams selbst, dessen Modell an selbst erzeugten Daten lernt. Das ist nicht unseriös, sondern der übliche Weg, ein solches Modell zu bauen und zu prüfen. Es erklärt aber, warum Laborzahlen und Alltagserfahrung auseinanderfallen können. Ein Rauchmelder kann in der Prüfkammer überzeugen und trotzdem jeden Morgen über dem Toaster losgehen.
Der David-Sacks-Tweet und der Vorwurf der Unbrauchbarkeit
Am 13. September 2026 schrieb David Sacks einen Tweet. Innerhalb weniger Minuten taten viele Leser das, was sie inzwischen reflexhaft tun: Sie fragten Pangram, ob der Text maschinell erzeugt sei. Das Ergebnis lautete, der Beitrag sei vollständig KI-generiert. Sacks reagierte mit der Einschätzung, diese Detektoren seien unbrauchbar. Damit stehen zwei Aussagen nebeneinander, die man trennen sollte.
Die erste betrifft einen Einzelfall: eine Klassifikation, richtig oder falsch. Die zweite betrifft die Qualität des Werkzeugs insgesamt, und die lässt sich nicht aus einem einzigen Tweet ableiten. Aus einem Fehlurteil folgt kein Modellversagen, aus einer guten Statistik nicht, dass jede Einzelbewertung stimmt. „Bogus“ ist ein Urteil, keine Messung. Der Vorfall zeigt vor allem, wie schnell KI-generierte Texte erkannt werden sollen, ohne dass jemand definiert, was genau erkannt werden soll: der Entstehungsprozess oder das Ergebnis.
Das Experiment: erst generieren lassen, dann von Hand umschreiben
Der Autor des Berichts, Armin Ronacher, bezeichnet sein Vorgehen selbst als Spaß. Er wollte den Sacks-Tweet nachbauen, und den Prompt dafür ließ er sich von einem Sprachmodell vorschlagen, was er offen einräumt. Die Vorgabe: acht Absätze, höchstens 350 Wörter, Thema „Pacing the Frontier“, als Kontext der Essay von Dario Amodei und ein zustimmender Tweet von Sam Altman. Dazu eine Strukturliste, die den Verlauf festlegte, von der eröffnenden Konzession über den Hinweis auf unveröffentlichte Modelle bis zum Schluss mit Regulierungsdebatte, China und offenen Gewichten.
Opus 5 lieferte einen Text, der sich glatt liest und dem Sacks-Tweet nur teilweise ähnelt. Pangram bewertete ihn als vollständig KI. Das überrascht nicht, denn ein vollständig generierter Text ist die leichteste Aufgabe für ein solches Werkzeug. Interessant wird es erst, wenn die Maschine aus dem Spiel genommen wird.
Im zweiten Durchgang ging der Autor Absatz für Absatz durch und formulierte jeden neu, von Hand, ohne Sprachmodell. Erst am Ende ließ er Tippfehler korrigieren, was nach seiner Erfahrung die Bewertung nicht ändert. Ähnlichkeitsprüfer bezifferten die Übereinstimmung mit dem Ausgangstext auf rund fünfzig Prozent, kein Satz war identisch. Man würde erwarten, dass ein solcher Text anders bewertet wird als seine Vorlage. Pangram kam erneut auf 100 Prozent KI.
Warum die Struktur mehr verrät als die einzelne Wortwahl
Hier hilft die Analogie vom Rauchmelder. Ein Melder misst Rauch, nicht Feuer, und er misst nicht, wer das Streichholz angezündet hat. Ein KI-Textdetektor arbeitet ähnlich: Er misst statistische Eigenschaften, nicht Absicht und nicht Urheberschaft. Wer einen Text Satz für Satz umschreibt, verändert die Wortwahl, lässt aber die Absatzlogik, die Reihenfolge der Argumente und den Rhythmus stehen. Genau diese Ebene prägt ein LLM als Schreibassistent am stärksten.
Der Autor zeigt sich von der zweiten 100-Prozent-Wertung nur mäßig überrascht. Seine Beobachtung: Ein Text, dessen Struktur einmal von einer Maschine vorgegeben wurde, wird diese Herkunft kaum noch los, selbst bei umfangreichen Überarbeitungen. Daraus folgt keine Verdammung des Werkzeugs, sondern eine genauere Vorstellung davon, was es tut. Es bewertet einen Prozess, nicht einen Menschen.
Für alle, die KI-Texterkennung als Kontrolle einsetzen wollen, ist das eine wichtige Einschränkung. Ein hoher KI-Anteil kann bedeuten, dass ein Text vollständig generiert wurde. Er kann aber auch bedeuten, dass jemand seine Struktur ausgelagert und anschließend gründlich editiert hat. Die Note sagt nichts darüber, wie viel Arbeit in einem Text steckt.
Zwei Jahre KI-Unterstützung und die Frage nach einem fairen Urteil
Der Autor betreibt seinen Blog seit etwa zwei Jahren mit KI-Unterstützung, was am Transparenzhinweis im Fußbereich sichtbar ist. In dieser Zeit, so beschreibt er es, wurde er abhängiger von den Werkzeugen, und die Werkzeuge wurden zu aggressiveren Redakteuren. Das habe ihn innehalten lassen. Wer regelmäßig mit einem LLM als Schreibassistent arbeitet, kennt diesen Sog: Erst lässt man korrigieren, dann umformulieren, dann gliedern, und irgendwann stammt der Bauplan eines Beitrags nicht mehr von einem selbst.
Gleichzeitig erwartet er, dass viele Leute das Etikett „100 Prozent KI“ für irreführend halten, wenn ein Autor viel eigene Arbeit in die Überarbeitung gesteckt hat. Es trifft einen Prozess, den viele Leser als Vorwurf lesen. Ob es trotzdem fair ist, einen solchen Text vollständig als maschinell zu führen, lässt er offen. Das ist ehrlicher als eine schnelle Antwort in beide Richtungen.
Was der Detektor misst und wo seine Grenzen liegen
Die 0,0041 Prozent gelten für den Durchschnitt, nicht für den Einzelfall. Der Pangram KI-Detektor eignet sich deshalb weniger als Schiedsrichter über Urheberschaft denn als Messgerät für Textgewohnheiten. Wer ihn so einsetzt, gewinnt eine brauchbare Information darüber, wie ein Text entstanden sein könnte. Wer ihn als Wahrheitsmaschine behandelt, wird ausgerechnet in den strittigen Fällen enttäuscht.
Für den Alltag heißt das zweierlei. Erstens: Wer KI-generierte Texte erkennen will, sollte auf die Struktur schauen, nicht nur auf Formulierungen. Die Struktur ist das zäheste Erbe einer Maschine. Zweitens: Wer selbst mit einem Sprachmodell arbeitet, sollte bewusst entscheiden, welche Ebene er abgibt. Recherche und Bauplan auszulagern ist etwas anderes, als einen Absatz glätten zu lassen, und der Unterschied verschwindet nicht durch anschließendes Umschreiben. Ein Detektor, der einen handgefeilten Text weiter als vollständig maschinell führt, ist kein Skandal. Er zeigt nur, dass Herkunft und Oberfläche zwei verschiedene Dinge sind.
Quelle: lucumr.pocoo.org
