Gemini 4 Argon gegen Claude Opus 5.5: Was drei Praxistests wirklich zeigen

Makroaufnahme einer Festplatte mit Magnetscheibe und Schreib-Lesearm, metallische Reflexe
Deine Reaktion:

Gemini 4 Argon kostet bis Ende November halb so viel pro Token wie Claude Opus 5.5. In einem Vergleich von Jessica Wachtel auf The New Stack lösten beide Modelle eine Fehlersuche gleich gut. Bei einer Abrechnungsaufgabe und einer Frage zu langen Dokumenten lag Opus vorn. Das ist ein konkreter Erfahrungsbericht mit drei Aufgaben, keine allgemeine Messung einer „halbierten Genauigkeit“. Genau diese Unterscheidung entscheidet darüber, was du aus dem Test für deine eigene Arbeit ableiten kannst.

Wer einen Handwerker auswählt, vergleicht mehr als den Stundensatz. Auch zählt, wie lange der Auftrag dauert und was anschließend nachgebessert werden muss. Bei Sprachmodellen ist es ähnlich: Der Tokenpreis ist sichtbar, die Kosten falscher Ergebnisse stehen auf einer anderen Rechnung. Wachtels Versuch zeigt beides, aber auch, wie empfindlich ein Vergleich auf eine einzelne fehlerhafte Codezeile reagieren kann.

Ein Preisvorteil mit Ablaufdatum

Der Bericht vom 18. Oktober 2026 nennt für Argon zwei Dollar pro Million Eingabe-Token und zehn Dollar pro Million Ausgabe-Token. Dieses Angebot gilt demnach bis zum 30. November. Ab dem 1. Dezember sollen vier beziehungsweise zwanzig Dollar gelten und damit dieselben Listenpreise wie bei Opus 5.5. Wer einen langfristigen Einsatz kalkuliert, darf den Einführungspreis deshalb nicht als dauerhaften Vorteil fortschreiben.

Gleiche Listenpreise bedeuten allerdings noch keine identischen Kosten pro Aufgabe. Modelle können unterschiedlich viele Ausgabe- und Reasoning-Token verbrauchen; außerdem zählen ihre Tokenizer denselben Text verschieden. Wachtel weist das im Langkontextversuch ausdrücklich aus. Für deine Rechnung zählen der tatsächlich abgerechnete Verbrauch und das brauchbare Ergebnis. Der Vergleichspreis für eine Million Token ist dafür nur der Anfang.

Auch die Ausgangslage ist weniger eindeutig, als die Schlagzeile vermuten lässt. Google stellte Argon laut Bericht in seiner eigenen Tabelle auf 14 von 18 Benchmarks vor Opus. Wachtel wollte prüfen, wie sich diese Angaben bei anspruchsvollen Einzelaufgaben schlagen. Hersteller-Ranglisten und ihr eigener Versuch messen also verschiedene Dinge. Ein Widerspruch zwischen beiden beweist noch nicht, dass einer der Tests falsch ist.

Wie Jessica Wachtel die Modelle geprüft hat

Wachtel führte jede Aufgabe einmal pro Modell über OpenRouter auf den Servern der jeweiligen Anbieter aus, mit den voreingestellten Reasoning-Einstellungen. Die Ausgaben wurden durch ein Skript gegen vorab erstellte und geprüfte Lösungsschlüssel bewertet. Es handelt sich um drei bewusst schwere Szenarien: Fehler in einer Python-Bibliothek finden und reparieren, eine Abrechnungslogik implementieren sowie Abhängigkeiten in einem langen fiktiven Wiki nachvollziehen.

Dieser Aufbau hat einen Vorteil: Die Bewertung hängt nicht nur davon ab, welcher Text überzeugender klingt. Es gibt konkrete Bugs, Tests und erwartete Dienste. Seine Grenze ist ebenso klar. Ein Durchlauf pro Aufgabe erfasst keine Streuung zwischen mehreren Versuchen. Andere Prompts, Werkzeuge oder Reasoning-Einstellungen können das Ergebnis verändern. Der Bericht dokumentiert eine nützliche Stichprobe, keinen belastbaren Mittelwert über alle Arten von Entwicklungsarbeit.

Für einen eigenen Vergleich solltest du diese Grenze ernst nehmen. Wenn eine einzige Antwort deine gesamte Anbieterentscheidung tragen soll, misst du womöglich einen Ausreißer. Wiederhole besonders wichtige Fälle und prüfe, ob derselbe Fehlertyp erneut auftritt. Das kostet mehr als ein einzelner Test, liefert aber eine bessere Grundlage für einen Ablauf, den du anschließend täglich verwenden willst.

Fehlersuche: Gleichstand bei unterschiedlichem Verbrauch

Bei der Python-Bibliothek fanden beide Modelle alle 14 eingebauten Logikfehler und meldeten keinen der fünf Köder als Problem. Anschließend reparierten beide sämtliche Fehler, ohne die 93 vorhandenen Tests zu beschädigen. Für genau diese Aufgabe lieferte Argon also dieselbe gemessene Qualität wie Opus.

Argon benötigte dabei weniger Geld. Der Bericht nennt für die Prüfung rund 0,15 Dollar gegenüber 0,34 Dollar und für die Reparatur rund 0,35 gegenüber 0,95 Dollar. Wachtel führt den Vorteil nicht allein auf den rabattierten Listenpreis zurück: Argon erzeugte auch weniger Token. Nach ihrer Berechnung wäre es bei diesem Beispiel selbst zum späteren vollen Preis noch günstiger gewesen.

Das widerspricht jeder pauschalen Aussage, Argon sei grundsätzlich halb so genau. Bei dieser Fehlersuche gab es keinen Genauigkeitsabstand. Ebenso wenig beweist der Gleichstand, dass beide Modelle jede Codebasis gleich gut prüfen. Die Bibliothek, die vorbereiteten Fehler und die vorhandenen Tests begrenzen die Aussage. Der praktische Nutzen liegt darin, einen ähnlichen Fall aus der eigenen Arbeit nachzustellen.

Abrechnung: Ein Fehler mit großer Wirkung

Bei der Implementierung einer Abo-Abrechnung bestand Opus zunächst alle 80 verdeckten Tests und nach einer Erweiterung um zwei Währungen alle 100. Argon erreichte zuerst 11 von 80 und danach 20 von 100. Wer nur diese Zahlen liest, sieht einen deutlichen Abstand. Der Bericht erklärt aber auch seine Ursache.

Argon hatte einer Python-Funktion einen zusätzlichen Parameter übergeben. Weil große Teile des Moduls auf diesem Hilfsaufruf beruhten, schlugen viele Tests gemeinsam fehl. Wachtel korrigierte die betreffende Zeile anschließend selbst. Danach bestand auch Argons Lösung alle 80 beziehungsweise 100 Tests. Für die offizielle Wertung beließ sie es beim ursprünglichen Ergebnis.

Beide Sichtweisen sind relevant. Die unbearbeitete Lösung war fehlerhaft und hätte im Betrieb nicht funktioniert. Zugleich wäre es irreführend, daraus auf ein umfassendes Unverständnis der gesamten Abrechnungslogik zu schließen. Ein kleiner Defekt kann eine große Testfläche lahmlegen. Für deinen Arbeitsablauf lautet die Frage deshalb auch: Wird so ein Fehler durch eine automatische Ausführung erkannt, und bekommt der Agent eine Gelegenheit zur Reparatur?

Langer Kontext: Der Abhängigkeitsgraph blieb schwierig

Im fiktiven Wiki beantworteten beide Modelle zwei von drei Fragen bei den jeweils ausgeführten Größen richtig. Unterschiede gab es bei der Frage nach dem Ausfallradius: Welche Dienste fallen mit aus, wenn ein bestimmter Dienst ausfällt? Die erwartete Antwort umfasste 33 Dienste.

Opus fand bei der kleineren gemeinsamen Dokumentgröße alle 33 und bei der größeren 32, jeweils ohne falsche Einträge. Argon fand 20 richtige mit acht falschen beziehungsweise 19 richtige mit 16 falschen. Bei einer noch größeren Variante, die wegen unterschiedlicher Tokenisierung nicht mehr in Opus‘ Kontext passte, fand Argon 23 richtige und zwei falsche Dienste. Der Bericht beschreibt unter anderem eine Abhängigkeit, die im Verlauf des Wikis entfernt und später wiederhergestellt worden war. Argon behandelte sie dennoch als entfernt.

Hier hilft die Erklärung mit der einzelnen kaputten Codezeile nicht. Die Fehler betreffen das Zusammenführen verteilter Informationen. Gleichzeitig darf ein nicht ausgeführter Opus-Lauf nicht als Niederlage in derselben Aufgabe gezählt werden: Die API lehnte das Dokument wegen der Kontextgrenze ab. Verfügbarkeit und Antwortqualität sind zwei unterschiedliche Eigenschaften, die ein produktiver Ablauf beide berücksichtigen muss.

Was du aus dem Vergleich übernehmen kannst

Insgesamt meldet Wachtel Kosten von 4,98 Dollar für Argon und 8,75 Dollar für Opus. Daraus folgt ein Preisunterschied in diesem Versuch, keine allgemeine Qualitätsquote. Die Ergebnisse reichen vom Gleichstand über einen leicht behebbaren Implementierungsfehler bis zu wiederholten Fehlern im Abhängigkeitsgraphen. Diese Fälle in einer einzigen Genauigkeitszahl zusammenzuziehen, würde ihre Ursachen verdecken.

Für eine eigene Entscheidung helfen echte Aufgaben mit bekannten Lösungen. Bewerte nicht nur, ob eine Antwort beim ersten Versuch stimmt, sondern auch den Aufwand bis zu einer überprüften Lösung. Halte fest, welche Fehler automatisierte Tests erkennen, welche ein Mensch suchen muss und ob die günstigere Lösung nach einer Reparaturrunde noch günstiger ist. Bei langen Dokumenten gehört außerdem die tatsächliche Tokenzahl in beiden Systemen zur Prüfung.

Der günstigere Handwerker ist nicht automatisch die bessere Wahl, der teurere aber auch nicht. Bei der Fehlersuche war Argon in Wachtels Versuch ein günstiger Gleichstand, beim Abhängigkeitsgraphen die schwächere Wahl. Welche dieser Situationen deinem Alltag näherkommt, zeigt kein pauschales „halber Preis, halbe Genauigkeit“. Das zeigt eine eigene, wiederholbare Prüfung mit den Aufgaben, für die du das Modell bezahlen willst.

Quelle: Jessica Wachtel, The New Stack

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 26
Relevanz 62
Hype 38
Einschätzung 62
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.