Kategorie: Erklärer

  • KI-Technologie: Das Gerücht um Anthropic und Physical Intelligence – mehr als nur ein Twitter-Sturm

    KI-Technologie: Das Gerücht um Anthropic und Physical Intelligence – mehr als nur ein Twitter-Sturm

    Ein Gerücht machte auf dem Schulhof die Runde: Der größte Junge will den besten Roboterbauer kaufen. Niemand wusste, ob es stimmt. Ähnlich verhält es sich gerade in der KI-Welt. Am Wochenende verbreitete sich auf X (ehemals Twitter) das Gerücht, Anthropic – Entwickler des Sprachmodells Claude – wolle das Robotik-Startup Physical Intelligence übernehmen. Der Hype war stark, selbst CEO Hausmans vorsichtiges Dementi konnte ihn nicht stoppen. Was ist dran? Und warum ist das relevant für uns, die täglich mit KI arbeiten? Hier sind die Hintergründe eines Deals, der die Robotik verändern könnte.

    Auslöser war ein Blogbeitrag von Connie Loizos auf TechCrunch. Die erfahrene Silicon-Valley-Journalistin beschreibt, wie ein Post des Tech-Bloggers Robert Scoble auf X die Diskussion auslöste. Scoble behauptete, Anthropic stehe kurz vor der Übernahme von Physical Intelligence. Das Startup, vor zwei Jahren gegründet von Lachy Groom, ehemaligen Google-Forschern und Stanford/Berkeley-Professoren, hat über eine Milliarde Dollar eingesammelt. Es entwickelt mit π0.5 eines der meistgenutzten Roboter-Gehirne in der Forschung. Die Nachricht verbreitete sich schnell, auch nachdem CEO Karol Hausman per Slack ein Dementi schickte. Laut Loizos gab es aber tatsächlich Gespräche im Frühjahr, wie „The Information“ berichtete. Scoble irrte nur im Timing.

    Warum ist diese Übernahme so wichtig? Ein Blick auf die strategische Lage: Anthropic und OpenAI, die beiden führenden KI-Unternehmen, bereiten sich auf Börsengänge vor. Anthropic reichte am 1. Juni einen IPO-Antrag ein, OpenAI eine Woche später. Es könnten zwei der größten Börsendebüts in den USA werden. Im Wettlauf um Marktanteile und Investorengelder geht es nicht nur um Sprachmodelle. Es geht um die nächste Stufe: Superintelligenz. Robotik spielt dabei eine zentrale Rolle. Viele Experten glauben: Echte Superintelligenz entsteht nicht nur aus Internettexten. Sie braucht ein Verständnis der physikalischen Welt – Bewegung, Interaktion, Bruch. Robotik ist der Schlüssel.

    OpenAI machte diese Erfahrung bereits. Früher baute es eine Roboterhand, die einen Zauberwürfel löste, schloss 2021 aber die gesamte Robotik-Sparte. Mitbegründer Wojciech Zaremba erklärte, dem Ansatz habe das nötige Verständnis für echte Superintelligenz gefehlt. 2024 kehrte das Team zurück, baute ein humanoides Robotiklabor in San Francisco auf. CEO Sam Altman machte Ende Mai offiziell: „OpenAI Robotics“ stellte ein und kündigte Roboter für Infrastrukturarbeit als kurzfristiges Ziel an, langfristig einen persönlichen Roboter für jeden. Anthropic dagegen hat kein vergleichbares Hardwarelabor. Stattdessen veröffentlichte die interne Gruppe Sicherheitsstudien. Im November testete Project Fetch, wie gut Claude Nicht-Experten beim Programmieren eines Roboterhundes half. Eine zweite Phase im Juni ergab, dass ein neueres Modell die Aufgaben etwa 20-mal schneller erledigte als das beste menschliche Team mit Claude aus dem Vorjahr. Ein Kauf von Physical Intelligence würde Anthropic Jahre an Forschung und Entwicklung ersparen – und den direkten Einstieg in die physische KI-Ebene ermöglichen.

    Es gibt einen Haken. Physical Intelligence hat eine Investorenliste, die der von OpenAI ähnelt: Khosla Ventures, Thrive Capital und Founders Fund. Letzterer ist auch ein großer OpenAI-Investor und war an den jüngsten Finanzierungsgesprächen beteiligt. Noch wichtiger: OpenAI selbst ist Investor bei Physical Intelligence. Das bedeutet: OpenAIs größter Rivale wollte ein Unternehmen kaufen, an dem OpenAI beteiligt ist. Das wirft Fragen auf: Hat OpenAI bei seiner Investition Informationsrechte oder ein Vorkaufsrecht bekommen für den Fall eines Verkaufs an einen Wettbewerber? Solche Klauseln sind bei strategischen Investoren üblich. Sollte Physical Intelligence zum Verkauf stehen, könnte OpenAI den besseren Anspruch haben – bereits Aktionär, Groom nahestehend, und dabei, Anthropic in der Robotik zu übertrumpfen. Loizos fragte OpenAI, erhielt aber keine Antwort.

    Was bedeutet das für uns? Die Gerüchte um Anthropic und Physical Intelligence sind kein belangloses Silicon-Valley-Gerede. Sie zeigen, wohin die KI-Reise geht: weg von reinen Textwelten, hinein in die physische Realität. Wer heute KI nutzt – Chatbots, Bildgeneratoren, Sprachassistenten – wird morgen Roboter sehen, die von denselben Modellen gesteuert werden. Die Frage ist nicht mehr, ob KI die reale Welt erobert, sondern wann und von wem. Anthropic und OpenAI liefern sich ein Wettrennen um die nächste Milliarde Nutzer. Während wir über KI nachdenken, bauen die Firmen bereits die Infrastruktur: Roboter, die uns bald im Haushalt oder Straßenbau helfen. Die Investitionen in Robotik sind ein klares Signal: Die Zukunft ist digital und analog. Unternehmen, die diese Brücke schlagen, werden die nächste Dekade dominieren.

    Wird Anthropic Physical Intelligence kaufen? Vielleicht, vielleicht nicht. Sicher ist: Die Gerüchte haben ein Fenster geöffnet. KI und Robotik sind untrennbar verwoben. Für uns als Beobachter und Nutzer heißt das: hinschauen, verstehen, mitreden. Die nächste Generation von KI-Anwendungen wird unsere Arbeit, unser Leben und unsere Interaktionen grundlegend verändern. Wenn wir verstehen, warum ein Twitter-Gerücht über einen Milliarden-Deal die Runde macht, verstehen wir auch, wohin die Reise geht.

    Quelle: techcrunch.com

  • Inside the Model Factory: Wie Poolside in acht Wochen ein KI-Modell baut

    Inside the Model Factory: Wie Poolside in acht Wochen ein KI-Modell baut

    Du arbeitest an einem Softwareprojekt und wünschst dir einen Assistenten, der nicht nur Code vorschlägt, sondern eigenständig komplexe Aufgaben über mehrere Stunden löst. Daran arbeitet das Team um Eiso Kant bei Poolside AI. Das Unternehmen hat mit Laguna S 2.1 ein Modell veröffentlicht, das Modelle fast zehnmal seiner Größe übertrifft – nach nur acht Wochen Entwicklungszeit. Die Antwort liegt in einer Systematik, die Kant selbst als „Model Factory“ bezeichnet.

    Eiso Kant ist kein Unbekannter in der KI-Szene. 2015 ließ er sich von Andrej Karpathys Artikel über rekurrente neuronale Netze inspirieren und gründete das Open-Source-Startup Sourced, das Sprachmodelle für Code entwickelte. Das war lange bevor GPT die Welt veränderte. Kant investierte vier Jahre und zwölf Millionen Dollar in diese Vision – und scheiterte. „Das war der größte Fehlschlag meiner Karriere“, sagt er. Die Welt war noch nicht bereit für Code-Modelle. Als ChatGPT kam, fühlte sich Kant bestätigt. Er kehrte mit Poolside zurück, diesmal mit der Überzeugung, dass der richtige Weg über offene Gewichte und reproduzierbare Forschung führt.

    Warum setzt Poolside auf Offenheit? Kant argumentiert: Ein Ökosystem mit hundert Foundation-Modell-Unternehmen ist einem Oligopol von fünf weit überlegen – selbst wenn Poolside nicht zu den fünf gehören würde. Offene Gewichte bedeuten Transparenz und ermöglichen es anderen, auf den Ergebnissen aufzubauen. Die Forschung bleibt offen: Poolside veröffentlicht technische Berichte mit einem Detailgrad, der in der Branche selten geworden ist. Das Unternehmen hat ein globales Forschungsteam aufgebaut, abseits des Talentkriegs im Silicon Valley. Weniger als siebzig Forscher führen monatlich zwischen zehntausend und zwanzigtausend Experimente durch. Möglich macht es die Infrastruktur.

    Die Model Factory ist das Herz von Poolside. Eine Produktionsstraße, die nicht Autos, sondern Intelligenz herstellt. Der Prozess beginnt mit dem Streaming von Daten direkt ins Training, ohne Zwischenspeicher und manuelle Schritte. Jedes Experiment ist reproduzierbar, weil Code und Daten versioniert und unveränderlich gespeichert werden. Kant betont: Modellbau besteht zu neunzig Prozent aus Engineering – nicht aus Wissenschaft im Elfenbeinturm. Die Factory ermöglicht es, von der Vorschulung bis zur Veröffentlichung eines Modells in fünf bis acht Wochen durchzulaufen. Eine radikale Beschleunigung gegenüber den sechsmonatigen Zyklen, die früher üblich waren.

    Technisch ist Laguna S 2.1 ein Mixture-of-Experts-Modell mit 118 Milliarden Gesamtparametern, von denen pro Token nur 8 Milliarden aktiv sind. Der Kontext umfasst bis zu einer Million Token, und das Modell kann zwischen einem Denkmodus und einem schnellen Modus wechseln. Ein so vergleichsweise kleines Modell kann mit riesigen Modellen wie denen von Thinking Machines mithalten. Kant erklärt: Ausdauer, Verifikation und Rückverfolgung sind oft wichtiger als rohe Intelligenz. Kleinere Modelle erledigen mehr Wissensarbeit, als man annimmt – wenn sie richtig trainiert werden.

    Ein zentraler Punkt in Kants Philosophie ist die Rolle des Reinforcement Learning. Er sieht, dass RL in Zukunft früher in die Vorschulung einziehen wird, fast wie eine Form des Curriculums. Die bloße Vorhersage des nächsten Tokens schöpft nicht genug Wissen aus dem Web. Poolside setzt hier an: Die Modelle werden nicht nur mit Code, sondern mit langfristigen Softwareaufgaben trainiert. Ein Agent schreibt Code, startet Jobs, evaluiert Ergebnisse und modifiziert die Pipelines, die zum Training zukünftiger Modelle verwendet werden. Das ist der Kreislauf, der das System verbessert.

    Kant kritisiert aktuelle Ansätze wie MCP und traditionelle Tool Calls. Er nennt sie „stupid“. Statt einem Modell eine Auswahl vorgefertigter Werkzeuge zu geben, soll der Agent selbst Skripte schreiben und ausführen. Das minimiert die Abhängigkeit von vordefinierten Schnittstellen und gibt dem Modell maximale Freiheit. Kant plädiert für minimale Harness-Systeme, in denen das Modell mit Containern und einer Shell kommuniziert – mehr braucht es nicht. Der Weg zur AGI führt über langfristige Softwareentwicklungsaufgaben, nicht über Chatbots oder Bildgenerierung.

    Poolside hat sich auf Code spezialisiert, arbeitet aber auch an Bildverarbeitung. Audio steht vorerst nicht auf der Roadmap. Sprache bleibt die recheneffizienteste Modalität, um Wissen und Logik zu kodieren. Kant rechnet vor: Der finale Trainingslauf eines großen Modells ist oft antiklimatisch, weil der eigentliche Aufwand in den tausenden Experimenten davor steckt. Die Kosten für die Entwicklung eines Modells liegen im Bereich von Hunderten Millionen Dollar, verteilt über viele Versuche. Poolside hat 500 Millionen Dollar eingesammelt, zu einer Zeit, als Investoren noch bezweifelten, ob AGI realisierbar sei.

    Was bedeutet das für die Zukunft der KI? Kant malt ein Bild, in dem Intelligenz zur meistgefragten und gleichzeitig am meisten kommoditisierten Ressource wird. Offene Modelle könnten irgendwann zu leistungsfähig sein, um sie uneingeschränkt zu veröffentlichen. Gleichzeitig warnt er: Einseitige Sicherheitsmaßnahmen funktionieren in einem global wettbewerblichen Umfeld nicht. Regulierung könnte unbeabsichtigt ein Oligopol von zwei oder drei Unternehmen zementieren – genau das, was Kant vermeiden will. Hardware-Hürden bei NVIDIA und TSMC sowie der Engpass durch Reinforcement Learning in Echtzeit sind weitere Herausforderungen.

    Poolside gibt Anlass zur Hoffnung, dass auch kleinere Akteure mit klarer Strategie und exzellenter Technik mithalten können. Die Model Factory zeigt: Systemdenken und Ingenieurskunst machen den Unterschied. Nicht die Größe des Modells allein entscheidet, sondern die Fähigkeit, schnell zu experimentieren, zu lernen und zu verbessern. Für Entwickler und Unternehmen heißt das: Wer intelligente Software bauen will, sollte sich nicht nur auf die großen Anbieter verlassen. Mit den richtigen Werkzeugen und einer durchdachten Infrastruktur lassen sich eigene Modelle trainieren – schneller als gedacht.

    Quelle: latent.space

  • Niemand weiß, was ein gebrauchter GPU-Cluster wert ist

    Niemand weiß, was ein gebrauchter GPU-Cluster wert ist

    Du kaufst einen superschlanken Rennwagen. Nur ein bestimmter Mechaniker macht ihn schnell. Er kennt jede Schraube, jedes Zucken des Motors. Als Kreditsicherheit zählt jedoch nur der Marktwert des Fahrzeugs – ohne den Menschen. GPU-Clustern geht es genauso. Milliarden Kredite werden besichert durch Hardware, deren Wert bei Zahlungsunfähigkeit schlagartig zerfallen kann. Das Betriebswissen steht nicht auf dem Papier.

    Der Kredit-Deal zwischen xAI und Apollo Global Management ist ein Beispiel. Morgan Stanley stellte im Juni 2025 ein Schuldenpaket über fünf Milliarden Dollar bereit. Die Gläubiger – Apollo und Diameter Capital Partners – können bei Zahlungsverzug den gesamten Colossus-Cluster übernehmen. Das sind 200.000 GPUs in Memphis, die dann an andere KI-Firmen vermietet werden. Das erscheint solide. Doch was bekommt Apollo wirklich? Ein Gebäude hat einen festen Wert. Ein GPU-Cluster nicht. Sein Wert hängt von Konfiguration, aktuellem Betrieb und vor allem vom Team ab, das seine Tücken kennt. Das alles steht in keiner Bilanz – es existiert nur in den Köpfen der Mannschaft.

    Das KI-Infrastruktur-Boom hat ein Problem. Dutzende Milliarden Dollar Schulden sind besichert durch Chips, deren Wert von betrieblichen Zuständen abhängt, die für Preisfestsetzer unsichtbar sind. Der Autor des Originalartikels nennt dies ein zentrales ungelöstes Problem. Konkret:

    Moderne Datenzentren sind Dauerbaustellen. GPUs fallen mit einer jährlichen Rate von etwa 9 Prozent aus. Das wirkt harmlos, aber auf 200.000 GPUs gibt es etwa 50 Ausfälle täglich. Meta dokumentierte bei seinem Llama-3-Training auf 16.384 H100-GPUs über 54 Tage hinweg 419 unvorhergesehene Störungen – 148 reine GPU-Fehler, 72 HBM3-Speicherfehler. Bei den von xAI geplanten einer Million GPUs prognostiziert Epoch AI etwa alle drei Minuten einen Fehler. Das ist der Normalzustand. Die teuren Fehler sind die leisen: Stille Datenkorruption, bei der eine defekte GPU falsche Ergebnisse liefert ohne abzustürzen. Ein mehrtägiges Training läuft scheinbar normal durch, aber die Modellgewichte sind unbemerkt vergiftet. Kaskadenausfälle: Eine einzige kaputte GPU legt einen Trainingsprozess lahm, der auf Tausenden läuft – Tage Rechenzeit verbrannt. Hinzu kommen thermische Drosselung, ECC-Speicherfehler, NVLink-Störungen, GPUs, die vom Bus fallen. NVIDIA hat NVSentinel gebaut, weil herkömmliche Überwachung diese Probleme zwar erkennt, aber kaum behebt. Crusoe hat AutoClusters entwickelt, weil die Wartezeit auf freie Ressourcen die größte steuerbare Variable für den Gesamtdurchsatz ist. Ohne solche Tools dauern Reparaturen Stunden bis Tage.

    Ein Betriebsteam hält all dies stabil. Sie wissen, welche Racks im Sommer heiß laufen, welche Kühlkreisläufe seit dem letzten Firmware-Update zicken, welche Jobs sie umleiten müssen, wenn ein Knoten langsam wird, aber noch nicht ausgefallen ist. Kein Teil dieses Wissens ist niedergeschrieben. Es lebt im Team. Dieses Team ist die eigentliche Sicherheit für Milliarden Schulden.

    Die Finanzierungsstruktur hinter diesen Deals zeigt das Risiko. In den letzten 18 Monaten hat sich die Finanzierung von KI-Infrastruktur von Unternehmensschulden hin zu chip-besicherten Darlehen gewandelt. Das xAI Colossus 2 SPV ist das klarste Beispiel: etwa 7,5 Milliarden Eigenkapital, davon bis zu 2 Milliarden von NVIDIA selbst, plus 12,5 Milliarden Fremdkapital. Die Zweckgesellschaft kauft NVIDIA-GPUs und least sie an xAI für fünf Jahre. Apollo und Diameter sitzen auf dem Schulden-Tranche, Valor Equity Partners führt das Eigenkapital. Die Schulden sind durch die Chips besichert – nicht durch die Bilanz von xAI. Der Preis dieses Kredits: bis zu 12,5 Prozent Zins. CoreWeaves GPU-besicherte Deals lagen bei etwa 8,5 Prozent über dem Referenzzins. Kreditgeber verlangen den Preis, den sie für das Risiko halten. Der Zinsaufschlag ist der Preis für die Ungewissheit.

    Die Bandbreite der Schätzungen ist groß. Im Vergleich zu anderen Anlageklassen: Flugzeuge haben ISTAT-zertifizierte Gutachter, ein globales Register, standardisierte Wartungsprot

    Quelle: ciphertalk.substack.com

  • Der Anthropic Economic Index Connector: Daten statt Spekulation über KI und Arbeit

    Der Anthropic Economic Index Connector: Daten statt Spekulation über KI und Arbeit

    Nach einem langen Arbeitstag fragst du dich: Wird mein Job in fünf Jahren noch existieren? Welche Aufgaben übernimmt KI in meiner Branche? Diese Fragen sind allgegenwärtig. Bisher waren Antworten vage – mal von Marketing, mal von dystopischen Szenarien geprägt. Eine solide Datenbasis fehlte. Der Anthropic Economic Index liefert sie, und der neue Connector für Claude macht sie direkt zugänglich. Keine Programmierkenntnisse nötig, einfach eine Frage in natürlicher Sprache.

    Was der Economic Index zeigt

    Der Index ist kein reines Forschungsprojekt. Er zeigt, wie Claude tatsächlich in der Wirtschaft genutzt wird – basierend auf anonymisierten Nutzungsmustern: Welche Berufe, Regionen und Aufgaben sind betroffen? Bisher war dieser Datenschatz für Forscher und Entscheider gedacht. Der Connector öffnet ihn für alle. Statt auf Meinungen zu schauen, siehst du echte Nutzungsdaten.

    So aktivierst du den Connector

    Die Bedienung ist einfach. Öffne in claude.ai das Connectors-Menü, wähle den Anthropic Economic Index, ein Klick aktiviert ihn. Keine Installation. Du stellst Fragen wie: „Welche Berufe nutzen KI am häufigsten?“, „Welche Aufgaben automatisieren Menschen in Colorado?“, „Wie hat sich der KI-Einsatz bei Lehrkräften im letzten Jahr verändert?“. Claude antwortet aus dem Index und zeigt auf Wunsch die Rohdaten. Du kannst nachfragen, tiefer graben.

    Ein Beispiel aus der Praxis

    Konkret: Du arbeitest im Marketing und fragst dich, ob KI deine Tätigkeit überflüssig macht. Starte mit: „Was sagt der Index über meine Branche?“ Claude zeigt, dass KI im Marketing vor allem für Content-Erstellung und Datenanalyse genutzt wird, weniger für strategische Planung. Du fragst nach konkreten Aufgaben, dann nach zeitlicher Entwicklung. Du siehst klare Muster, wo KI ergänzt und wo sie entlastet. Spekulation wird zu Einsicht.

    Die Grenzen des Index

    Der Index hat Grenzen, die Anthropic bewusst benennt. Er spiegelt ausschließlich Nutzungsmuster von Claude wider, nicht den gesamten Arbeitsmarkt. Unterrepräsentierte Branchen oder Regionen können schlicht daran liegen, dass dort weniger mit Claude gearbeitet wird. Claude weist bei jeder Abfrage auf diese Einschränkung hin und verlinkt zur Originaldatenquelle und Methodik. Das ist Transparenz. Du bekommst ein Werkzeug, um dir selbst ein Bild zu machen – wenn du die Daten kritisch hinterfragst.

    Von Benchmarks zu echter Nutzung

    Dieser Connector ist Teil einer Entwicklung weg von der Leistungsschau hin zu echten Anwendungsmetriken. Lange wurde KI nach Benchmarks bewertet. Für Forscher ist das wichtig, für die reale Welt oft irrelevant. Der Anthropic Economic Index verschiebt den Fokus auf tatsächliche Nutzung. Statt „Was kann KI theoretisch?“ fragen wir: „Was machen Menschen mit KI tatsächlich?“. Der Connector macht diese Frage für jeden beantwortbar.

    Was das für dich bedeutet

    Für Unternehmen und Arbeitnehmer ist die Bedeutung groß. Triffst du Entscheidungen über KI-Tools, helfen konkrete Daten, zugeschnitten auf deine Branche und Aufgaben. Das reduziert Unsicherheit und ermöglicht faktenbasierte Strategien. Arbeitnehmer sehen klare Muster und können sich gezielt weiterbilden. Der Connector macht Wissen zugänglich, das bisher Research-Abteilungen vorbehalten war.

    Der Connector verändert nicht die Welt allein. Aber er ist ein Schritt zu mehr Transparenz. KI-Technologie wird nicht nur in Forschungsberichten diskutiert, sondern wird ein Werkzeug, um Arbeit zu verstehen. Du kannst ihn ab heute in Claude nutzen. Vielleicht fragst du ihn: Was machst du gerade, und welche Aufgabe könnte KI übernehmen – nicht um dich zu ersetzen, sondern um dich zu entlasten?

    Quelle: anthropic.com

  • Pelicanmaxxing – Optimieren KI-Labore heimlich auf Benchmarks?

    Pelicanmaxxing – Optimieren KI-Labore heimlich auf Benchmarks?

    Stell dir vor, du bewertest ein Restaurant immer nur nach einem einzigen Gericht: der Pizza Margherita. Das Restaurant weiss das, und plötzlich schmeckt die Margherita sehr gut – aber die Spaghetti Carbonara sind eine Katastrophe. Die KI-Forschung untersucht dieses Phänomen unter dem Namen pelicanmaxxing. Ein harmloser Scherz-Benchmark ist zum inoffiziellen Standard geworden. Die Frage: Trainieren die grossen KI-Labore ihre Modelle gezielt darauf, in diesem Test gut abzuschneiden?

    Der Entwickler und Blogger Dylan Castillo hat sich dieser Frage mit einer systematischen Studie angenommen. Was wie eine Spielerei klingt, ist ernsthafte methodische Arbeit. Denn wenn viel Geld auf dem Spiel steht und ein positiver Benchmark-Eintrag überzeugt, wäre die Versuchung gross, das Modell genau auf diesen einen Prompt zu optimieren. Castillo wollte wissen, ob die Labore dieser Versuchung erlegen sind.

    Die Geburt eines inoffiziellen Benchmarks

    Seit einigen Jahren testet der Entwickler Simon Willison jedes grössere Sprachmodell mit dem gleichen Prompt: „Generiere ein SVG eines Pelikans, der Fahrrad fährt.“ Was als simpler Spass begann, wurde zu einem der bekanntesten inoffiziellen Benchmarks. Willisons Ergebnisse werden auf Hacker News oft zu den meistgewählten Kommentaren bei Neuveröffentlichungen. Der Benchmark ist so prominent, dass Fachleute diskutieren, ob die Labore heimlich darauf trainieren – pelicanmaxxen.

    Was bedeutet pelicanmaxxing? Der Begriff lehnt sich an „benchmaxxing“ an: eine Praxis, Modelle gezielt auf Benchmark-Aufgaben zu optimieren, statt allgemeine Fähigkeiten zu verbessern. Konkret: Labore geben Modellen extra Trainingsdaten mit Pelikanen auf Fahrrädern, damit sie im Test gut abschneiden – selbst wenn die allgemeine Bildgenerierung leidet.

    Die Methodik: Ein Raster aus 48 Prompts

    Castillo ging das Problem systematisch an. Er baute ein Raster aus acht Tieren und sechs Fahrzeugen auf, also insgesamt 48 verschiedene Prompts. Das ursprüngliche „Pelikan auf Fahrrad“ war nur eine Zelle in diesem Raster. Die Tiere wählte er nach Nähe zum Pelikan: Flamingo und Reiher sind ähnlich, Otter und Waschbär einfach, Antilope schwierig, Wal extrem anders. Bei den Fahrzeugen kamen neben Fahrrad noch Einrad, Skateboard, Roller, Flugzeug und Boot zum Einsatz.

    Mit diesem Raster testete Castillo sieben Modelle über die Plattform OpenRouter: GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 und DeepSeek V4 Pro. Pro Prompt generierte er drei SVG-Bilder bei einer Temperatur von 1.0 – insgesamt 1.008 Grafiken. Jedes Bild durchlief eine dreistufige Analyse: Zuerst Rendern des SVG (bei Fehlern bis zu drei Neugenerierungen). Dann bewertete ein KI-Judge Tierdarstellung, Fahrzeugdarstellung und Handlungskohärenz (Skala 1-5). Ein weiteres Modell extrahierte Merkmale wie erkanntes Tier, Fahrzeug und Bildelemente.

    Die Ergebnisse: Fünf Indizien gegen Pelicanmaxxing

    Die Studie liefert fünf Belege, dass die Labore nicht auf den Pelikan-Fahrrad-Test optimieren. Jeder für sich ist nicht zwingend, zusammen ergeben sie ein klares Bild.

    Erstens: Pelikane werden nicht besser gezeichnet als andere Tiere. Gemittelt über alle sieben Modelle landen sie nur auf Platz sechs von acht – hinter Katzen, Walen, Waschbären, Reihern und Antilopen.

    Zweitens: Fahrräder schneiden noch schlechter ab. Unter den sechs Fahrzeugen belegen sie Platz sieben von acht. Ein gezieltes Training auf Fahrräder wäre damit kaum zu erklären.

    Drittens: Die eigentliche Kombination – Pelikan auf Fahrrad – landet auf Platz 42 von 48 möglichen Tier-Fahrzeug-Paaren. Ausgerechnet das Motiv, auf das angeblich optimiert wird, gehört also zu den schwächsten.

    Viertens: Castillo rechnete mit einer statistischen Methode (einer Fixed-Effects-Regression) die generelle Schwierigkeit jeder Kombination heraus und suchte nach einem Extra-Bonus einzelner Labore. Das Ergebnis: Bei keinem Modell gab es einen statistisch bedeutsamen Zusatz-Effekt – weder für Pelikane, noch für Fahrräder, noch für die Kombination. Den größten Ausschlag zeigte GLM-5.2 mit +0,35 Punkten, doch der liegt im Bereich des Zufalls.

    Fünftens: ein Test auf Auswendiglernen. Auffällig war zunächst, dass alle 21 Pelikan-Fahrrad-Bilder nach rechts zeigten. Doch das passt ins Gesamtbild: 81 Prozent aller Fahrräder und 78 Prozent aller Pelikane zeigen ohnehin nach rechts. Auch bei den einzelnen Bildelementen fand sich kein verdächtiges Muster, das auf antrainierte Vorlagen hindeutet.

    Grenzen der Studie

    Castillo bleibt bei seinen Schlüssen vorsichtig – zu Recht. Die Bewertung übernahm nur ein einziges KI-Modell als Judge, ohne Gegenprüfung durch weitere Bewerter. Außerdem kann die Studie ein anderes Szenario nicht ausschließen: das sogenannte SVGmaxxing. Damit ist gemeint, dass Labore ihre Modelle breit auf das Erzeugen von SVG-Grafiken trimmen – nicht speziell auf den Pelikan, aber auf die ganze Aufgabengattung. Und schließlich war das Budget begrenzt: drei Bilder pro Kombination, ein Judge, sieben Modelle. Für ein endgültiges Urteil bräuchte es mehr.

    Was bedeutet das?

    Die Antwort auf die Ausgangsfrage lautet: Es gibt keine Hinweise, dass die großen KI-Labore heimlich auf den Pelikan-Fahrrad-Test optimieren. Pelikane werden nicht besonders gut gezeichnet, Fahrräder auch nicht, und die Kombination erst recht nicht. Wenn überhaupt optimiert wird, dann eher breit auf SVG-Grafiken – nicht auf dieses eine Motiv.

    Für dich als Leser heißt das: Simon Willisons Pelikan bleibt ein charmanter, aber mit Vorsicht zu genießender Schnelltest. Er verrät etwas über die allgemeine Bildfähigkeit eines Modells – nicht über eine antrainierte Spezialdisziplin. Und er zeigt, wie schnell aus einem Scherz ein ernstzunehmender Maßstab wird, sobald genug Leute hinschauen.

    Quelle: dylancastillo.co