Stell dir vor, du bewertest ein Restaurant immer nur nach einem einzigen Gericht: der Pizza Margherita. Das Restaurant weiss das, und plötzlich schmeckt die Margherita sehr gut – aber die Spaghetti Carbonara sind eine Katastrophe. Die KI-Forschung untersucht dieses Phänomen unter dem Namen pelicanmaxxing. Ein harmloser Scherz-Benchmark ist zum inoffiziellen Standard geworden. Die Frage: Trainieren die grossen KI-Labore ihre Modelle gezielt darauf, in diesem Test gut abzuschneiden?
Der Entwickler und Blogger Dylan Castillo hat sich dieser Frage mit einer systematischen Studie angenommen. Was wie eine Spielerei klingt, ist ernsthafte methodische Arbeit. Denn wenn viel Geld auf dem Spiel steht und ein positiver Benchmark-Eintrag überzeugt, wäre die Versuchung gross, das Modell genau auf diesen einen Prompt zu optimieren. Castillo wollte wissen, ob die Labore dieser Versuchung erlegen sind.
Die Geburt eines inoffiziellen Benchmarks
Seit einigen Jahren testet der Entwickler Simon Willison jedes grössere Sprachmodell mit dem gleichen Prompt: „Generiere ein SVG eines Pelikans, der Fahrrad fährt.“ Was als simpler Spass begann, wurde zu einem der bekanntesten inoffiziellen Benchmarks. Willisons Ergebnisse werden auf Hacker News oft zu den meistgewählten Kommentaren bei Neuveröffentlichungen. Der Benchmark ist so prominent, dass Fachleute diskutieren, ob die Labore heimlich darauf trainieren – pelicanmaxxen.
Was bedeutet pelicanmaxxing? Der Begriff lehnt sich an „benchmaxxing“ an: eine Praxis, Modelle gezielt auf Benchmark-Aufgaben zu optimieren, statt allgemeine Fähigkeiten zu verbessern. Konkret: Labore geben Modellen extra Trainingsdaten mit Pelikanen auf Fahrrädern, damit sie im Test gut abschneiden – selbst wenn die allgemeine Bildgenerierung leidet.
Die Methodik: Ein Raster aus 48 Prompts
Castillo ging das Problem systematisch an. Er baute ein Raster aus acht Tieren und sechs Fahrzeugen auf, also insgesamt 48 verschiedene Prompts. Das ursprüngliche „Pelikan auf Fahrrad“ war nur eine Zelle in diesem Raster. Die Tiere wählte er nach Nähe zum Pelikan: Flamingo und Reiher sind ähnlich, Otter und Waschbär einfach, Antilope schwierig, Wal extrem anders. Bei den Fahrzeugen kamen neben Fahrrad noch Einrad, Skateboard, Roller, Flugzeug und Boot zum Einsatz.
Mit diesem Raster testete Castillo sieben Modelle über die Plattform OpenRouter: GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 und DeepSeek V4 Pro. Pro Prompt generierte er drei SVG-Bilder bei einer Temperatur von 1.0 – insgesamt 1.008 Grafiken. Jedes Bild durchlief eine dreistufige Analyse: Zuerst Rendern des SVG (bei Fehlern bis zu drei Neugenerierungen). Dann bewertete ein KI-Judge Tierdarstellung, Fahrzeugdarstellung und Handlungskohärenz (Skala 1-5). Ein weiteres Modell extrahierte Merkmale wie erkanntes Tier, Fahrzeug und Bildelemente.
Die Ergebnisse: Fünf Indizien gegen Pelicanmaxxing
Die Studie liefert fünf Belege, dass die Labore nicht auf den Pelikan-Fahrrad-Test optimieren. Jeder für sich ist nicht zwingend, zusammen ergeben sie ein klares Bild.
Erstens: Pelikane werden nicht besser gezeichnet als andere Tiere. Gemittelt über alle sieben Modelle landen sie nur auf Platz sechs von acht – hinter Katzen, Walen, Waschbären, Reihern und Antilopen.
Zweitens: Fahrräder schneiden noch schlechter ab. Unter den sechs Fahrzeugen belegen sie Platz sieben von acht. Ein gezieltes Training auf Fahrräder wäre damit kaum zu erklären.
Drittens: Die eigentliche Kombination – Pelikan auf Fahrrad – landet auf Platz 42 von 48 möglichen Tier-Fahrzeug-Paaren. Ausgerechnet das Motiv, auf das angeblich optimiert wird, gehört also zu den schwächsten.
Viertens: Castillo rechnete mit einer statistischen Methode (einer Fixed-Effects-Regression) die generelle Schwierigkeit jeder Kombination heraus und suchte nach einem Extra-Bonus einzelner Labore. Das Ergebnis: Bei keinem Modell gab es einen statistisch bedeutsamen Zusatz-Effekt – weder für Pelikane, noch für Fahrräder, noch für die Kombination. Den größten Ausschlag zeigte GLM-5.2 mit +0,35 Punkten, doch der liegt im Bereich des Zufalls.
Fünftens: ein Test auf Auswendiglernen. Auffällig war zunächst, dass alle 21 Pelikan-Fahrrad-Bilder nach rechts zeigten. Doch das passt ins Gesamtbild: 81 Prozent aller Fahrräder und 78 Prozent aller Pelikane zeigen ohnehin nach rechts. Auch bei den einzelnen Bildelementen fand sich kein verdächtiges Muster, das auf antrainierte Vorlagen hindeutet.
Grenzen der Studie
Castillo bleibt bei seinen Schlüssen vorsichtig – zu Recht. Die Bewertung übernahm nur ein einziges KI-Modell als Judge, ohne Gegenprüfung durch weitere Bewerter. Außerdem kann die Studie ein anderes Szenario nicht ausschließen: das sogenannte SVGmaxxing. Damit ist gemeint, dass Labore ihre Modelle breit auf das Erzeugen von SVG-Grafiken trimmen – nicht speziell auf den Pelikan, aber auf die ganze Aufgabengattung. Und schließlich war das Budget begrenzt: drei Bilder pro Kombination, ein Judge, sieben Modelle. Für ein endgültiges Urteil bräuchte es mehr.
Was bedeutet das?
Die Antwort auf die Ausgangsfrage lautet: Es gibt keine Hinweise, dass die großen KI-Labore heimlich auf den Pelikan-Fahrrad-Test optimieren. Pelikane werden nicht besonders gut gezeichnet, Fahrräder auch nicht, und die Kombination erst recht nicht. Wenn überhaupt optimiert wird, dann eher breit auf SVG-Grafiken – nicht auf dieses eine Motiv.
Für dich als Leser heißt das: Simon Willisons Pelikan bleibt ein charmanter, aber mit Vorsicht zu genießender Schnelltest. Er verrät etwas über die allgemeine Bildfähigkeit eines Modells – nicht über eine antrainierte Spezialdisziplin. Und er zeigt, wie schnell aus einem Scherz ein ernstzunehmender Maßstab wird, sobald genug Leute hinschauen.
Quelle: dylancastillo.co
