In einem komplexen Softwareprojekt mit hohen Anforderungen, knappen Deadlines und begrenztem Rechenbudget würde man normalerweise denken: Wer an der Spitze sein will, muss tief in die Tasche greifen. Das Team hinter SWE-1.7 von Cognition zeigt das Gegenteil. Sie entwickelten ein Modell, das mit einem Bruchteil der Kosten an die Leistungsfähigkeit der teuersten Systeme heranreicht. Ermöglicht wird das durch eine Kombination aus Reinforcement Learning, optimierter Infrastruktur und Tricks für stabiles und effizientes Training.
SWE-1.7 baut auf dem Kimi K2.7-Modell auf, das bereits umfangreiche Nachbearbeitung durch RL durchlaufen hatte. Die Entwickler von Cognition stellten fest, dass sie durch ihr eigenes Training noch enorme Zugewinne erzielen konnten. Das widerspricht der Annahme, dass nach einer bestimmten Phase der Nachoptimierung keine großen Sprünge mehr möglich sind. Offenbar lässt sich die Leistungsfähigkeit durch RL noch weiter treiben. In Benchmarks wie FrontierCode 1.1 erreicht SWE-1.7 42,3 Prozent, das Basismodell lag bei 30,1 Prozent. Damit liegt es auf Augenhöhe mit Top-Modellen wie GPT-5.5 oder Opus 4.8, zu deutlich niedrigeren Kosten.
Um diese Erfolge zu erzielen, löste das Team grundlegende Probleme. Eines betrifft die Stabilität des Trainings. Beim RL-Training über viele Schritte besteht die Gefahr des Entropy Collapse. Das Modell hört auf zu explorieren und wiederholt immer die gleichen erfolgreichen Strategien. Die Ursache liegt in sehr unwahrscheinlichen Tokens, die bei der Textgenerierung auftreten. Diese Tokens führen oft zu schlechten Ergebnissen. Werden sie als Trainingsbeispiele verwendet, verstärken sie die bereits dominierenden Pfade. Die Folge: Die Token-Verteilung wird spitzer, die Entropie sinkt. Die Lösung des Cognition-Teams: Top-p Sampling. Dabei werden nur die wahrscheinlichsten Tokens für die Rollouts verwendet, unwahrscheinliche Ausrutscher fließen nicht in die Optimierung ein. Allerdings führt diese Technik im Training zu einer Abweichung zwischen der angenommenen und der tatsächlich gesampelten Verteilung. Zur Korrektur implementierten die Entwickler Sampling Distribution Replay. Sie zeichnen auf, welche Tokens während des Rollouts im Top-p-Set waren, und normalisieren die Wahrscheinlichkeiten im Trainer. So bleibt die Entropie über die gesamte Trainingsdauer konstant, wie Diagramme zeigen.
Ein weiterer Faktor ist die Nutzung mehrerer Rechenzentren gleichzeitig. Das Training großer KI-Modelle erfordert immense Rechenleistung, oft nur in wenigen teuren Superclustern verfügbar. Cognition nutzte stattdessen kleinere, günstigere Cluster auf drei Kontinenten parallel. Der Trainer, der die Gewichte aktualisiert, läuft auf einem leistungsstarken Cluster in den USA. Die Inference-Engines für die Rollouts sind autark. Sie beziehen die aktuellen Gewichte aus einem Cloud-Objektspeicher. Nach jedem Optimierungsschritt lädt der Trainer ein komprimiertes Delta der Gewichtsänderung hoch – die Datenmenge wird so um über 99 Prozent reduziert. Die Inference-Engines prefetchen dieses Delta, wechseln nahtlos auf die neuen Gewichte, ohne laufende Sessions zu unterbrechen. Das gesamte Update dauert ein bis zwei Minuten. So kann Cognition die verfügbare Rechenleistung vervielfachen, ohne teure Höchstleistungscluster.
Mit vielen verteilten Komponenten wächst die Anfälligkeit für Ausfälle. Hardwarefehler sind bei tausenden Chips an der Tagesordnung. Das Team baute daher eine Fehlertoleranz ein: kein einzelner Ausfall zerstört das gesamte Training. Fällt eine Inference-Engine aus, gehen nur die laufenden Sessions verloren – teilweise rekonstruierbar durch einen Proxy-Mechanismus. Die Ausfallsicherheit des Trainers wird durch asynchrone lokale Checkpoints und Replikation der Speicherzustände auf benachbarte Knoten gewährleistet. Stirbt ein Knoten, werden Daten in Sekunden wiederhergestellt. Fallen ganze Replikagruppen aus, kann die Trainingsskalierung vorübergehend reduziert werden. Das ermöglicht kontinuierlichen, langfristigen Trainingsbetrieb.
Neben der Infrastruktur legte das Team Wert auf die Qualität der Trainingsdaten. Sie bauten eine Pipeline auf, die jede Aufgabe automatisch ausführt und prüft, ob die KI sinnvolle Zwischenergebnisse produziert. Aufgaben mit geringem Lerneffekt werden aussortiert, die verbleibenden gehärtet, um Reward-Hacking zu verhindern – also das Ausnutzen von Lücken in der Belohnungsfunktion. Eine weitere Innovation ist Self-Compaction. Bei langfristigen Aufgaben kann der Kontext schnell die Fenstergrenze des Modells überschreiten. SWE-1.7 lernt daher, seinen aktuellen Arbeitsstatus zusammenzufassen und von dieser Zusammenfassung aus weiterzuarbeiten. Ein abwechselnder Längenstraffaktor sorgt dafür, dass das Modell präzise und kurz bleibt, ohne die Korrektheit zu opfern. Das erinnert an einen erfahrenen Programmierer, der seine Gedanken in knappen Kommentaren dokumentiert.
SWE-1.7 liefert in Benchmarks wie Terminal-Bench und SWE-Bench Multilingual starke Leistungen – teils auf dem Niveau oder besser als weitaus teurere Modelle. Die Entwickler berichten von Verhaltensweisen, die das Modell während des Trainings entwickelt hat: vorsichtige Exploration und prägnante Argumentation. Das kommt den Anforderungen an hochwertige Softwareentwicklung entgegen. Das Training verbessert nicht nur die Leistung, sondern auch die Herangehensweise des Modells.
SWE-1.7 zeigt: Nicht immer ist die teuerste Hardware nötig, um an der Spitze mitzumischen. Clevere Algorithmen, stabile Trainingsverfahren und die Nutzung verteilter Ressourcen ermöglichen auch kleineren Laboren oder Unternehmen, mit den Giganten zu konkurrieren. Das senkt Einstiegshürden und fördert Vielfalt. Gleichzeitig ist Reinforcement Learning noch nicht ausgereizt – die Nachoptimierung könnte fruchtbarer sein als angenommen. Die Zukunft gehört nicht den größten Clustern, sondern den klügsten Trainingsstrategien. Effizienz und Einfallsreichtum treiben den Fortschritt voran, frontier intelligence wird erschwinglicher.
Quelle: cognition.com
