Welches KI-Modell hilft bei grossen Softwareprojekten? Die grossen Anbieter – OpenAI, Anthropic, SpaceXAI – versprechen bessere Frontend-Entwicklung, mehr Token-Effizienz, tiefere Zusammenarbeit. Was taugen diese Versprechen in der Praxis? Genau das hat Stephen M. Walker II mit einem praxisnahen Benchmark getestet: Basecamp Bench.
Walker hat nicht mit theoretischen Abfragen oder einfachen Code-Snippets gearbeitet. Er hat ein vollständiges, reales Produkt nachgebaut – die Basecamp-Projektmanagement-Oberfläche mitsamt Backend. Jedes getestete Modell startete im selben leeren Workspace, bekam dieselben Anforderungen, Mockups, Design-Tokens und API-Verträge. Das Ziel: zu sehen, wo die Modelle gut abschneiden, wo sie schwächeln und wo die Unterschiede klein sind. Das Ergebnis ist ein aufschlussreicher Vergleich.
Die Kandidaten und ihr Abschneiden
Fünf Modelle traten an: Fable 5 (Anthropic), Sonnet 5 (Anthropic), Grok 4.5 (SpaceXAI), GPT‑5.6 Sol (OpenAI) und GPT‑5.5 (OpenAI). Walker wertete in 20 Dimensionen aus – von funktionaler Vollständigkeit über API-Korrektheit bis hin zu Pixelgenauigkeit. Die zentrale Erkenntnis: Kein Modell gewinnt auf ganzer Linie. Der Spitzenreiter in der Gesamtwertung heisst Fable 5. Es erreichte 7,578 Punkte im Frontend und 8,392 im Backend – und liegt damit „innerhalb weniger Prozentpunkte der echten Basecamp-Implementierung“, wie Walker schreibt. Der Preis dafür: 85,87 $ Kosten und über zwei Stunden Bearbeitungszeit.
Auf der anderen Seite steht Grok 4.5. Es absolvierte beide Tracks in 37 Minuten für 9,30 $ – ein gutes Verhältnis von Geschwindigkeit zu Kosten. Dafür zeigen die Screenshots deutliche Layout-Probleme und fehlenden Feinschliff. Walker bezeichnet es als „stärkste Balance aus Geschwindigkeit, Kosten und funktionaler Tiefe“. Wer schnelle Prototypen braucht und Abstriche bei der Optik akzeptiert, findet hier eine gute Option.
| Modell | Frontend | Backend | Gesamtzeit | Gesamtkosten |
|---|---|---|---|---|
| Fable 5 | 7,578 | 8,392 | 2:06:40 | 85,87 $ |
| Sonnet 5 | 6,982 | 7,243 | 1:27:09 | 36,23 $ |
| Grok 4.5 | 6,384 | 7,278 | 36:48 | 9,30 $ |
| GPT‑5.6 Sol | 5,765 | 7,310 | 59:48 | 15,13 $ |
| GPT‑5.5 | 5,670 | 7,084 | 44:14 | 10,94 $ |
Frontend: Die letzten zehn Prozent sind die schwersten
Die Backend-Werte liegen dicht beieinander – fast alle Modelle registrieren die komplette Routen-Oberfläche, setzen Invarianten durch und liefern vertragskorrekte Antworten. Der grösste Unterschied zeigt sich im Frontend. Walker beobachtet, dass die Modelle hier zwischen Breite und Tiefe abwägen: „Die Abstände, Icons, Mikrointeraktionen und Übergänge, die ein Interface fertig wirken lassen – genau daran scheitern viele.“ Tom Cargill sagte dazu: „Die ersten 90 % des Codes verursachen die ersten 90 % der Entwicklungszeit. Die restlichen 10 % des Codes machen die anderen 90 % aus.“ Jeder weitere Punkt auf Walkers Skala ist schwerer zu erreichen. Von einer 5 auf eine 6 zu kommen ist relativ einfach. Von 8 auf 9 zu steigen verlangt ungleich mehr Tiefe.
Auffällig: GPT‑5.6 Sol schneidet im Frontend mit 5,765 deutlich schlechter ab als Fable 5, obwohl OpenAI dieses Modell speziell für Frontend-Arbeit bewirbt. Walker vermutet, dass Sol eher auf funktionale Korrektheit als auf visuelle Details optimiert ist. Sonnet 5 wiederum legt den Fokus auf „working, persistent workflows“ – also echte, durchgängig nutzbare Abläufe –, was ihm den zweiten Platz im Frontend einbringt.
Die Variabilitätsfalle: Ein einziger Run täuscht
Ein überraschender Befund: die Run-to-Run-Variabilität. Walker hat Sonnet 5 und GPT‑5.6 Sol jeweils fünfmal auf jedem Track gestartet. Die Ergebnisse schwankten deutlich: Bei Sonnet 5 Frontend reichte die Spanne von 6,178 bis 6,922, bei Sol von 5,780 bis 6,489. Die Mediane lagen bei 6,585 bzw. 6,026 – der Unterschied also geringer, als man nach den ersten Werten vermuten würde. Walkers Fazit: „Auf Frontend-Arbeit sind Sol und Sonnet 5 näher beieinander, als ihr Ruf vermuten lässt. Die beste Sol-Runde schlug die schlechteste von Sonnet, die schwächste Sol verlor gegen die beste von Sonnet.“ Das erklärt, warum Nutzer in Foren gegensätzliche Erfahrungen berichten – sie haben verschiedene Durchläufe erwischt.
Für dich als Entwickler heisst das: Eine einmalige Ausführung eines Modells sagt wenig. Du musst mindestens drei, besser fünf Durchläufe machen, um ein verlässliches Bild zu bekommen. Gerade bei kostengünstigen Modellen wie Grok 4.5 ist das auch finanziell machbar.
Was bedeutet das?
Basecamp Bench ist kein künstliches Konstrukt aus isolierten API-Calls. Es ist ein Gesamtarbeitsbenchmark, der die echten Herausforderungen der Softwareentwicklung abbildet: Anforderungen aus Screenshots und Design-Tokens extrahieren, eine kohärente Frontend-Oberfläche bauen, eine Backend-API mit korrekten Verträgen implementieren und beides so verzahnen, dass aus Einzelteilen ein funktionierendes Produkt wird. Die Modelle, die hier vorne liegen – Fable 5 für Qualität, Grok 4.5 für Geschwindigkeit und Wirtschaftlichkeit –, sind die, die du beachten solltest, wenn du deinen nächsten KI-Workflow planst.
Walker selbst weist darauf hin, dass er den Benchmark mit weiteren Modellen ergänzen wird – Gemini 3.5 Pro steht in den Startlöchern, und wenn die Gerüchte um GPT‑6 im Sommer stimmen, wird auch dieses getestet. Bis dahin liefert Basecamp Bench eine handfeste Entscheidungsgrundlage, die weit über Marketingversprechen hinausgeht. Die Zeit der einfachen Experimente ist vorbei. Die Ergebnisse zeigen, wo die Modelle wirklich stehen.
Quelle: smw.ai
