Ein KI-Modell bekommt eine knifflige Matheaufgabe. Es denkt nach, schreibt „Moment, lass mich nochmal nachdenken“ – und wiederholt diesen Satz. Und noch einmal. Bis der gesamte Textplatz mit dieser Zeile gefüllt ist. Forscher nennen das einen „Doom Loop“. Das Phänomen tritt vor allem bei kleineren Reasoning-Modellen auf, wenn sie an schwierigen Problemen arbeiten. Bisher halfen nur einfache Wiederholungsstrafen im Hintergrund. Das Team um Sam Paech von Liquid AI entwickelte eine präzisere Methode: Antidoom. Sie kombiniert eine Erkennung der Problemstelle mit einem speziell angepassten Training, das nur einen einzigen Token im Wörterbuch korrigiert. Die Schleifen werden drastisch reduziert, die Leistung verbessert sich.
Doom Loops entstehen durch drei ineinandergreifende Mechanismen. Erstens: Die ungleiche Verteilung von Wahrscheinlichkeiten im Vokabular. Manche Wörter – „overtrained tokens“ – sind durch das Training mit synthetischen Daten besonders wahrscheinlich geworden. Bei Reasoning-Modellen sind das oft Diskursmarker wie „Wait“ oder „Alternatively“. Sie sind nützlich, um Strategiewechsel anzuzeigen. Wenn das Modell unsicher ist, werden diese Tokens zu Ausweichrouten. Sie starten immer wieder dasselbe Denkmuster neu.
Zweitens: Eine sich selbst verstärkende Rückkopplung. Sobald ein Token wie „Wait“ auftaucht, steigt die Wahrscheinlichkeit für genau dieses Token weiter. Jede Wiederholung treibt die Wahrscheinlichkeit in Richtung 1. Forscher um Zenghao Duan zeigten, dass dabei ein V-förmiges Aufmerksamkeitsmuster entsteht: Die semantische Wiederholung – das Feststecken auf einer Idee – geht der textuellen Wiederholung voraus. Drittens: Greedy-Sampling. Reasoning-Modelle laufen oft bei sehr niedrigen Temperaturen, um stabile Ergebnisse zu liefern. Bei Temperatur 0 wird immer der wahrscheinlichste Token gewählt. Hat sich eine Schleife erst etabliert, gibt es keinen Ausweg. Selbst bei höheren Temperaturen bleibt die Wahrscheinlichkeit für den Schleifen-Token so dominant, dass Sampling kaum hilft. Die Forscher fanden signifikante Schleifen selbst bei Temperatur 0,67.
Das Antidoom-Team ging das Problem systematisch an. Sie generierten eine große Menge von Antworten auf einen speziell entwickelten Mix aus anspruchsvollen Prompt-Aufgaben (LiquidAI/antidoom-mix-v1.0) bei niedriger Temperatur. Dann suchten sie nach Mustern, die mindestens viermal hintereinander über 60 Zeichen wiederholt wurden. Diese Kriterien vermeiden falsche Alarme und übersehene Fälle. Für jede gefundene Schleife identifizierten sie den ersten Token der ersten Wiederholung. An dieser Position griffen sie auf die Log-Wahrscheinlichkeiten des Basis-Modells zu, sammelten die Top-Alternativen und filterten kurze oder nicht-alphanumerische Rauscher heraus. Übrig blieben bis zu 20 plausible Ersatztoken, die als „chosen tokens“ in das Training einflossen. Jeder Trainingsdatensatz bestand aus einem Prompt-Präfix, einem abgelehnten Token (dem Beginn der Schleife) und einem oder mehreren gewählten Alternativ-Token.
Die Forscher regularisierten die Verteilungen vor dem Training. Einige häufige Schleifen-Übeltäter wie „Wait“, „So“ oder „the“ würden sonst übermäßig unterdrückt und die Reasoning-Fähigkeiten beschädigen. Die Trainingsmethode heißt „Final Token Preference Optimization“ (FTPO), eine Weiterentwicklung von Direct Preference Optimization (DPO). FTPO nimmt nur gezielte Veränderungen an wenigen Token der Verteilung vor. Es unterscheidet sich von DPO in vier Punkten: Erstens wird nur der letzte Token einer Sequenz trainiert, die sich mitten in der Generierung befindet. Zweitens erlaubt es mehrere gewählte Token pro Probe, sodass die Wahrscheinlichkeit auf eine Gruppe von Alternativen verteilt wird. Drittens verwendet es einen KL-ähnlichen Verlust, der direkt im Logit-Raum arbeitet und Gradientendruck auf nicht betroffene Token vermeidet. Viertens gibt es eine zweiteilige Regularisierung: Die Logits der trainierten Token dürfen sich stärker vom Referenzmodell entfernen, während der Rest des Vokabulars stärker eingeschränkt bleibt. Das verbessert die Lernbarkeit, ohne die Gesamtverteilung zu stören.
In der Praxis wird Antidoom in der Regel für eine Epoche mit LoRA trainiert – das passt nur wenige zusätzliche Parameter an. Hohe LoRA-Ränge (128 bis 256) liefern die besten Ergebnisse: mehr Lernfähigkeit bei weniger Verschlechterung. Die Forscher trainierten auf allen Aufmerksamkeits- und MLP-Projektionen sowie auf dem Sprachkopf. Die optimalen Lernraten lagen zwischen 4e-6 und 2e-5. Übermäßiges Training schadet. Daher brachen sie das Training frühzeitig ab, sobald ein bestimmtes Maß erreicht war (chosen_win=0,35). Die Doom-Loop-Rate sank von 20–30 % auf 1–2 % bei minimalen Nebenwirkungen. Längeres Training riskierte neue Schleifen an anderen Stellen im Vokabular.
Die Ergebnisse: Bei einem frühen Checkpoint von LFM2.5-2.6B – einem Reasoning-Modell mit 2,6 Milliarden Parametern – fiel die Doom-Loop-Rate von 10,2 % auf 1,4 %. Die Bewertungsergebnisse in Mathematik und Programmierung verbesserten sich durchweg, allein durch die Beseitigung der Schleifen. Das Modell lernte nichts Neues über die Aufgaben; es konnte endlich abrufen, was es schon wusste. Bei Qwen3.5-4B (4 Milliarden Parameter) sank die Doom-Loop-Rate von 22,9 % auf 1 % unter Greedy-Sampling, auch hier stiegen die Evaluierungswerte. Ein Nebeneffekt: Nach dem Antidoom-Training schnitten die Modelle bei niedrigen Temperaturen besser ab, während die Leistung bei Temperatur 1 leicht abfiel. Das widerlegt die Annahme, dass höhere Temperaturen für Reasoning-Modelle grundsätzlich besser seien. Vermutlich hatten die Doom Loops bei niedrigen Temperaturen die Ergebnisse verfälscht.
In der Praxis kann Antidoom in mehreren Runden angewendet werden. Nach der ersten Runde sinkt die Zahl der Schleifen drastisch, aber es können neue Problemstellen auftauchen. Eine zweite Runde zielt auf diese neuen Fehler. Die Forscher räumen ein, dass Overfitting eine Gefahr ist und das Training sorgfältig überwacht werden muss. Die Methode ist effizient: Die Erstellung des Trainingsdatensatzes für ein Modell wie LFM2.5-2.6B dauert etwa eine Stunde auf 8 GPUs, das eigentliche Training eine bis zwei Stunden auf einer einzigen GPU. Der gesamte Code ist auf GitHub verfügbar.
Wenn du ein Reasoning-Modell genutzt hast, das sich in sinnlosen Wiederholungen verfing, weißt du, wie das ist. Antidoom ist kein Allheilmittel, aber es zeigt, dass man mit einem präzisen Skalpell arbeiten kann. Statt die gesamte Wahrscheinlichkeitsverteilung zu bestrafen, greift es genau an der Stelle ein, die das Problem verursacht. Das verbessert die Effizienz von KI-Modellen, ohne ihre Kreativität zu ersticken. Ob diese Methode auf andere Degenerationsformen übertragbar ist oder den Anfang einer Familie von Reparaturverfahren darstellt, bleibt abzuwarten.
Quelle: liquid.ai
