Inside the Model Factory: Wie Poolside in acht Wochen ein KI-Modell baut

Symbolbild zum Artikel: Inside the Model Factory: Wie Poolside in acht Wochen ein KI-Modell baut
Deine Reaktion:

Du arbeitest an einem Softwareprojekt und wünschst dir einen Assistenten, der nicht nur Code vorschlägt, sondern eigenständig komplexe Aufgaben über mehrere Stunden löst. Daran arbeitet das Team um Eiso Kant bei Poolside AI. Das Unternehmen hat mit Laguna S 2.1 ein Modell veröffentlicht, das Modelle fast zehnmal seiner Größe übertrifft – nach nur acht Wochen Entwicklungszeit. Die Antwort liegt in einer Systematik, die Kant selbst als „Model Factory“ bezeichnet.

Eiso Kant ist kein Unbekannter in der KI-Szene. 2015 ließ er sich von Andrej Karpathys Artikel über rekurrente neuronale Netze inspirieren und gründete das Open-Source-Startup Sourced, das Sprachmodelle für Code entwickelte. Das war lange bevor GPT die Welt veränderte. Kant investierte vier Jahre und zwölf Millionen Dollar in diese Vision – und scheiterte. „Das war der größte Fehlschlag meiner Karriere“, sagt er. Die Welt war noch nicht bereit für Code-Modelle. Als ChatGPT kam, fühlte sich Kant bestätigt. Er kehrte mit Poolside zurück, diesmal mit der Überzeugung, dass der richtige Weg über offene Gewichte und reproduzierbare Forschung führt.

Warum setzt Poolside auf Offenheit? Kant argumentiert: Ein Ökosystem mit hundert Foundation-Modell-Unternehmen ist einem Oligopol von fünf weit überlegen – selbst wenn Poolside nicht zu den fünf gehören würde. Offene Gewichte bedeuten Transparenz und ermöglichen es anderen, auf den Ergebnissen aufzubauen. Die Forschung bleibt offen: Poolside veröffentlicht technische Berichte mit einem Detailgrad, der in der Branche selten geworden ist. Das Unternehmen hat ein globales Forschungsteam aufgebaut, abseits des Talentkriegs im Silicon Valley. Weniger als siebzig Forscher führen monatlich zwischen zehntausend und zwanzigtausend Experimente durch. Möglich macht es die Infrastruktur.

Die Model Factory ist das Herz von Poolside. Eine Produktionsstraße, die nicht Autos, sondern Intelligenz herstellt. Der Prozess beginnt mit dem Streaming von Daten direkt ins Training, ohne Zwischenspeicher und manuelle Schritte. Jedes Experiment ist reproduzierbar, weil Code und Daten versioniert und unveränderlich gespeichert werden. Kant betont: Modellbau besteht zu neunzig Prozent aus Engineering – nicht aus Wissenschaft im Elfenbeinturm. Die Factory ermöglicht es, von der Vorschulung bis zur Veröffentlichung eines Modells in fünf bis acht Wochen durchzulaufen. Eine radikale Beschleunigung gegenüber den sechsmonatigen Zyklen, die früher üblich waren.

Technisch ist Laguna S 2.1 ein Mixture-of-Experts-Modell mit 118 Milliarden Gesamtparametern, von denen pro Token nur 8 Milliarden aktiv sind. Der Kontext umfasst bis zu einer Million Token, und das Modell kann zwischen einem Denkmodus und einem schnellen Modus wechseln. Ein so vergleichsweise kleines Modell kann mit riesigen Modellen wie denen von Thinking Machines mithalten. Kant erklärt: Ausdauer, Verifikation und Rückverfolgung sind oft wichtiger als rohe Intelligenz. Kleinere Modelle erledigen mehr Wissensarbeit, als man annimmt – wenn sie richtig trainiert werden.

Ein zentraler Punkt in Kants Philosophie ist die Rolle des Reinforcement Learning. Er sieht, dass RL in Zukunft früher in die Vorschulung einziehen wird, fast wie eine Form des Curriculums. Die bloße Vorhersage des nächsten Tokens schöpft nicht genug Wissen aus dem Web. Poolside setzt hier an: Die Modelle werden nicht nur mit Code, sondern mit langfristigen Softwareaufgaben trainiert. Ein Agent schreibt Code, startet Jobs, evaluiert Ergebnisse und modifiziert die Pipelines, die zum Training zukünftiger Modelle verwendet werden. Das ist der Kreislauf, der das System verbessert.

Kant kritisiert aktuelle Ansätze wie MCP und traditionelle Tool Calls. Er nennt sie „stupid“. Statt einem Modell eine Auswahl vorgefertigter Werkzeuge zu geben, soll der Agent selbst Skripte schreiben und ausführen. Das minimiert die Abhängigkeit von vordefinierten Schnittstellen und gibt dem Modell maximale Freiheit. Kant plädiert für minimale Harness-Systeme, in denen das Modell mit Containern und einer Shell kommuniziert – mehr braucht es nicht. Der Weg zur AGI führt über langfristige Softwareentwicklungsaufgaben, nicht über Chatbots oder Bildgenerierung.

Poolside hat sich auf Code spezialisiert, arbeitet aber auch an Bildverarbeitung. Audio steht vorerst nicht auf der Roadmap. Sprache bleibt die recheneffizienteste Modalität, um Wissen und Logik zu kodieren. Kant rechnet vor: Der finale Trainingslauf eines großen Modells ist oft antiklimatisch, weil der eigentliche Aufwand in den tausenden Experimenten davor steckt. Die Kosten für die Entwicklung eines Modells liegen im Bereich von Hunderten Millionen Dollar, verteilt über viele Versuche. Poolside hat 500 Millionen Dollar eingesammelt, zu einer Zeit, als Investoren noch bezweifelten, ob AGI realisierbar sei.

Was bedeutet das für die Zukunft der KI? Kant malt ein Bild, in dem Intelligenz zur meistgefragten und gleichzeitig am meisten kommoditisierten Ressource wird. Offene Modelle könnten irgendwann zu leistungsfähig sein, um sie uneingeschränkt zu veröffentlichen. Gleichzeitig warnt er: Einseitige Sicherheitsmaßnahmen funktionieren in einem global wettbewerblichen Umfeld nicht. Regulierung könnte unbeabsichtigt ein Oligopol von zwei oder drei Unternehmen zementieren – genau das, was Kant vermeiden will. Hardware-Hürden bei NVIDIA und TSMC sowie der Engpass durch Reinforcement Learning in Echtzeit sind weitere Herausforderungen.

Poolside gibt Anlass zur Hoffnung, dass auch kleinere Akteure mit klarer Strategie und exzellenter Technik mithalten können. Die Model Factory zeigt: Systemdenken und Ingenieurskunst machen den Unterschied. Nicht die Größe des Modells allein entscheidet, sondern die Fähigkeit, schnell zu experimentieren, zu lernen und zu verbessern. Für Entwickler und Unternehmen heißt das: Wer intelligente Software bauen will, sollte sich nicht nur auf die großen Anbieter verlassen. Mit den richtigen Werkzeugen und einer durchdachten Infrastruktur lassen sich eigene Modelle trainieren – schneller als gedacht.

Quelle: latent.space

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 75
Relevanz 70
Hype 25
Einschätzung 60
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.