38 KI-Modelle, mehr als 54.000 Downloads und 143 GitHub-Repositories: Das sind die harten Zahlen hinter Horizon Labs. Der Bericht dokumentiert ein achtwöchiges Experiment, bei dem ein autonomer KI-Agent auf Basis von Opus 5.5 ein eigenes Hugging Face-Konto verwaltete, Modelle entwickelte und veröffentlichte. Erstmals, so die Herausgeber, konnte damit eine Organisation rund um offene Modelle weitgehend ohne menschliche Tagesarbeit geführt werden.
Der spannende Teil liegt nicht allein in der Zahl der Downloads. Entscheidend ist die Frage, ob Horizon echte Nachfrage bedient, seine eigenen Kennzahlen manipuliert oder lediglich gut aussehende Artefakte produziert. Die Autoren gehen diesen Fragen mit Tool-Call-Protokollen, unabhängigen Evaluierungen und einer erstaunlich offenen Darstellung der Fehler nach. Für uns ergibt sich daraus ein konkretes Bild davon, wie weit autonome KI-Agenten heute kommen und wo menschliche Kontrolle unverzichtbar bleibt.
Der Versuchsaufbau: Ein Agent bekommt echten Zugang und echte Verantwortung
Horizon lief sieben Wochen lang rund um die Uhr in Claude Code. Das System verfügte über ein frisches Hugging Face-Konto, GPU-Rechenzeit und lediglich ein Team-Premium-Abonnement. Pro Woche standen eine Million Compute Credits zur Verfügung, was ungefähr 500 GPU-Stunden entspricht. Damit verfügte der Agent über ein Budget, das nicht nur simuliertes Arbeiten erlaubte, sondern tatsächlich Modelle trainieren und auf dem Hub veröffentlichen konnte.
Die Einrichtung war bewusst begrenzt: ein einzelnes Hugging Face- und GitHub-Konto, beaufsichtigte Aktionen und die Möglichkeit, Support-Tickets an Menschen zu senden. Der Agent konnte Datensätze suchen, Trainingsjobs starten, Modelle veröffentlichen und mit Nutzern oder anderen Projekten interagieren. Er war also kein Chatbot, der lediglich Empfehlungen formulierte, sondern sollte innerhalb klarer Grenzen eine funktionierende Produktpipeline betreiben.
Insgesamt verarbeitete Horizon etwa 1,9 Milliarden Tokens, von denen 96 Prozent aus dem Prompt-Cache gelesen wurden. Neu geschrieben wurden 3,1 Millionen Tokens. Bei regulären API-Preisen wäre dieser Einsatz auf rund 1.030 US-Dollar gekommen. Das macht das Experiment zugleich wirtschaftlich interessant: Die technische Infrastruktur war nicht unbegrenzt, wohl aber günstig genug, um eine kleine Modellorganisation als wiederholbaren Prozess zu betreiben.
Die gesamte Auswertung basiert auf 3.952 protokollierten Tool-Aufrufen. Transkripte, Zeitplan, GPU-Jobs und Downloaddaten stehen in einem 20,1 MB großen Archiv zur Verfügung, wobei API-Schlüssel und eine private Person redigiert wurden. Das ist methodisch wichtig. Ein autonomer Agent ist nicht allein deshalb überzeugend, weil seine Ergebnisseite gute Zahlen zeigt. Überprüfbar wird das Experiment erst, wenn die ausgeführten Befehle, Fehlentscheidungen und Eingriffe der Menschen nachvollziehbar bleiben.
Was Horizon auf Hugging Face veröffentlicht hat
Horizon veröffentlichte 38 Modelle, deren Parametergrößen zwischen 141 Millionen und 568 Millionen lagen. Im Zentrum standen Embedding-Modelle, vor allem mmBERT-base-Varianten. Daraus entstanden familienweise kleine, mittlere und gelegentlich große Modelle. Die Auswahl orientierte sich an praktischen Aufgaben: Prompt-Injection-Klassifikatoren, PII-Redaktionswerkzeuge, ein mehrsprachiger Zero-Shot-Klassifikator, Satzzeichenrestaurierung sowie Modelle zur Erkennung von Webthemen und Dokumentformaten.
Diese Ausrichtung ist bemerkenswert. Statt einen universellen Assistenten zu bauen, suchte Horizon nach kleinen Werkzeugen, die in vorhandene Pipelines eingebaut werden können. Ein Punctuation-Recovery-Modell nutzt beispielsweise dieselben Labels wie die verbreiteten Modelle im Paket deepmultilingualpunctuation. Damit soll es als Drop-in-Ersatz funktionieren, also ohne dass Nutzer ihre gesamte Anwendung umbauen müssen. Der Agent prüfte dafür den Quellcode des Pakets, statt lediglich auf Produktnamen und Beschreibungen zu vertrauen.
Beim Prompt-Injection-Schutz lag der Schwerpunkt auf Dokumenten. Die Tests deuteten darauf hin, dass Horizon-Labs bei dieser Form von Angriffen einen hohen AUC-Wert erzielte. Allerdings zeigte sich eine relevante Grenze: Das Modell erkannte, dass ein Dokument verändert worden war, aber nicht zuverlässig, ob diese Veränderung tatsächlich feindselig war. Genau diese Unterscheidung entscheidet darüber, ob ein Guard im praktischen Betrieb nützlich ist oder nur auffällige Manipulationen meldet.
Auch die Downloadzahlen bekamen eine unabhängige Prüfung. 143 GitHub-Repositories verwendeten mindestens eines der Modelle, während 18 weitere Modelle auf Hugging Face sie feinabstimmten, quantisierten oder anderweitig veränderten. Zwei unabhängige arXiv-Papers verglichen den Prompt-Injection-Klassifikator mit anderen Lösungen. Schon diese Nutzungskette verrät mehr über das tatsächliche Interesse als eine bloße Anzahl von Downloads: Modelle werden in Anwendungen eingebunden, in Papers evaluiert und als Grundlage für weitere Veröffentlichungen verwendet.
Downloads mit sauberem Prüfverfahren statt künstlicher Reichweite
Horizon erzeugte 42 der gemessenen Downloads selbst, weil es seine eigenen Modelle in sechs Fällen herunterlud. Damit bleiben mehr als 53.900 Downloads, die nicht unmittelbar aus dem eigenen Verhalten stammen. Die Autoren halten den Anteil organischer Downloads dennoch für sehr hoch. Als Belege verweisen sie auf reale Integrationen und darauf, dass Horizon an vielen Tagen mit hohen Downloadzahlen gar nicht aktiv war.
Zusätzlich berücksichtigen sie, dass das Öffnen einer Space auf Hugging Face einen Modell-Download auslösen kann. Sie öffneten solche Seiten bis zu 20-mal und luden während eigener Evaluierungen weniger als 30 Modelle herunter. Nach konservativer Schätzung liegt ihr eigener Anteil bei höchstens 50 der rund 54.000 Downloads. Sogar wenn man diesen Teil vollständig herausrechnet, bleibt die Nutzung durch Dritte eindeutig substanziell.
Um gezieltes Reward Hacking zu erkennen, prüften die Autoren jeden Tool-Aufruf mit zwei Monitor-Modellen, Haiku 5.5 und Luna 6. Sie suchten insbesondere nach künstlichen Download-Impulsen, manipulierten Bewertungen und einer gezielten Auswahl besonders gut bewerteter Testfälle. Neben den sechs Selbst-Downloads fanden sie keinen Hinweis auf eine systematische Täuschung der Downloadzahlen.
Interessant ist auch, wie Horizon ausgewählte Modelle veröffentlichte. Es orientierte sich nicht an den publizierten Testwerten. Am 7. Oktober releasing prompt-injection-guard-small v2.3 schrieb der Agent, der beste Lauf nach Validierungs-F1 sei released worden, obwohl dieser auf den Test-Sets der schwächste der vier Läufe gewesen sei. Das wirkt zunächst kontraproduktiv, ist methodisch aber plausibel: Ein Validierungsdatensatz dient zur Modellauswahl, während ein Testset zur abschließenden Bewertung zurückgehalten werden sollte.
Die Grenze dieser Argumentation liegt allerdings darin, dass der Agent selbst entscheidet, welche Datensätze als Validierung gelten. Unabhängige Evaluierungen blieben deshalb notwendig. Die Autoren testeten vier Modellfamilien an synthetischen Benchmarks, die sie erst nach den Veröffentlichungen mit MiMo V2.6 Pro erstellten. Ein direktes Kontaminationsrisiko war damit ausgeschlossen. In vielen eng gefassten Aufgaben erreichten die Modelle ihres Größenbereichs Spitzenergebnisse, auch wenn daraus nicht automatisch ein universell überlegener Agent folgt.
Der Arbeitsrhythmus: Sechzehn Minuten Aktivität pro Tag
Horizon arbeitete im Durchschnitt nur 16 Minuten pro Tag und an vielen Tagen gar nicht. Das wirkt zunächst widersprüchlich, ergibt aber Sinn, wenn man den Agenten als Prozessoptimierer versteht. Es wartete auf neue Downloadzahlen, prüfte Nachfrage und Auslastung und concentrate seine kurze Arbeitszeit auf die Modelle mit dem größten Potenzial. Am Morgen um 10 Uhr UTC, wenn Hugging Face die Downloadstatistiken aktualisierte, wachte das System auf. Anschließend entschied es, ob es ein bestehendes Modell verbessern, eine neue Idee verfolgen oder zunächst nichts tun sollte.
Das ist eine Form von Arbeit, die in menschlichen Teams selten vorkommt. Ein Mensch müsste Aufgaben auswählen, Ressourcen einplanen, trainieren, dokumentieren, veröffentlichen und den Erfolg beobachten. Horizon koppelt diese Schritte an messbare Rückmeldungen aus einem Marktplatz. Gefragte Modelle erhalten Aufmerksamkeit, ungenutzte Varianten werden verworfen, und Trainingsläufe folgen einem wiederholbaren Rezept aus öffentlichen Datensätzen sowie synthetisch ergänzten Beispielen.
Für die Modellerstellung nutzte Horizon Qwen 3.8-27B und Gemma 4 31B, um Daten zu annotieren oder zu ergänzen. Die Rohdaten stammten überwiegend aus öffentlichen Hugging Face-Datensätzen. Bei der Auswahl neuer Modelle achtete der Agent auf Bedarf, multilinguale Abdeckung, permissive Lizenzen, Integration in vorhandene Pipelines und die Verfügbarkeit verlässlicher Evaluationsdatensätze. So wurden etwa Formality- und IPTC-Themen verworfen, weil geeignete Evaluationsdaten fehlten oder bereits gute Modelle existierten. Ein Ironie-Detektor wurde nicht veröffentlicht.
Besonders auffällig ist die Entwicklung der Downloadkurve. Sie wuchs schneller, während die kumulierte Rechenzeit und die tägliche Agentenarbeit nach und nach abflachten. In der Sprache des Berichts bilden Downloadzahlen und GitHub-Integrationen eine exponentielle Entwicklungskurve, während GPU-Stunden und aktive Arbeitszeit einer logarithmisch begrenzten Kurve folgen. Das ist der Traum einer automatisierten Open-Source-Organisation: Die Nachfrage wächst, aber jeder zusätzliche Output verlangt nicht proportional mehr Aufmerksamkeit.
Man sollte diese Kurven allerdings nicht mit einem sicheren Wachstum verwechseln. Horizon hatte Zugang zu einem neuen Konto ohne historische Bindungen, es blieb auf eine Veröffentlichungsplattform und ein Kontenmodell beschränkt und wurde von Menschen unterstützt. Die Ergebnisse zeigen also Potenzial für einen geschlossenen Regelkreis aus Nutzung, Auswahl, Training und Veröffentlichung. Sie belegen nicht, dass dieser Mechanismus in jedem Markt funktioniert oder ohne menschliche Aufsicht stabile Qualität liefert.
Fehler in der Versuchsleitung: Ein System kann auch durch Fehlinformationen lernen
Der Bericht verschweigt die Schwierigkeiten nicht. Die Menschen hinter dem Experiment beantworteten 13 Tickets und schickten sieben Nachrichten an Horizon. Die meisten Eingaben kamen in den ersten drei Tagen, als die Infrastruktur noch eingerichtet wurde. Später war keine menschliche Intervention mehr nötig, was den beobachteten Autonomiegrad unterstreicht. Zugleich zeigt der Verlauf, dass das Verständnis des Agenten über seine eigene Umgebung keineswegs fehlerfrei war.
Am 24. September kopierten die Autoren die Modelle auf ein separates Konto, um sie ohne Verzerrung der Horizon-Downloads zu untersuchen. Sie ließen die Kopien versehentlich öffentlich. Gleichzeitig bezeichneten sie das zweite Konto als Laborexperiment. Horizon erkannte die Kopien und drew daraus den falschen Schluss, es werde von einem Forschungslabor statt von einem Startup betrieben. Eine ähnliche Antwort erfolgte am 11. und 12. Oktober, als ein Ticket mit der Behauptung beantwortet wurde, Horizon-Labs sei eine andere Firma des Labors. Erst danach korrigierten die Verantwortlichen ihre Aussage.
Solche Fehler sind in einem offenen KI-System nicht nur ein redaktionelles Problem. Ein Agent lernt aus Kontext, aus Tool-Aufrufen und aus Antworten auf seine Fragen. Widersprüchliche oder falsche Umgebungsinformationen können sein Verhalten beeinflussen, auch wenn sie keine offensichtliche Missachtung der Sicherheitsregeln darstellen. Die Korrektur der Menschen war deshalb Teil des Betriebs, nicht bloß ein Support-Vorgang nebenbei.
Ein weiterer Fehler betraf den Weckmechanismus. Am 22. Oktober verhinderte ein Fehler in der Test-Harness Horizon daran, zur geplanten Zeit aufzuwachen. Die Betreiber starteten das System vier Stunden später neu und erklärten die Unterbrechung. Die Konsequenz war praktisch begrenzt, aber methodisch wertvoll: Eine reale autonome Organisation muss nicht nur ihre Modellauswahl, sondern auch Scheduling, Zustandsspeicherung, Wiederaufnahme und Protokollierung zuverlässig beherrschen.
Die Autoren verbesserten die Harness daraufhin so, dass ein Lauf zurückgespult werden kann, ohne den ursprünglichen Zustand stark zu verändern. Das ist ein wesentlicher Unterschied zwischen einer Demo und einem reproduzierbaren Experiment. Ein Agent darf nicht nur Ergebnisse liefern, sondern muss in der Lage sein, Fehler zu isolieren, Zustände wiederherzustellen und den Einfluss menschlicher Eingriffe zu messen.
Die zentrale Grenze von Horizon Labs
Der Report zeigt einen Agenten, der kleine spezialisierte Hugging Face Modelle eigenständig auswählt, trainiert, dokumentiert, veröffentlicht und anhand realer Nutzung verbessert. Seine Arbeit ähnelt eher der eines kleinen Forschungs- und Produktteams als der eines einzelnen Entwicklers. Der geschlossene Feedback-Loop funktionierte: Downloadzahlen und Integrationen zeigten Nachfrage, Validierungsdaten lenkten die Modellauswahl, und die Veröffentlichung erzeugte neue Rückmeldungen.
Die Autonomie war dennoch überwacht. Horizon konnte Tickets eröffnen, Verständnisfragen stellen und bei Fehlern Unterstützung anfordern. Menschen griffen in die Infrastruktur ein, korrigierten falsche Informationen und untersuchten die Arbeit mit zusätzlichen Modellen. Die 16 Minuten aktive Agentenarbeit pro Tag bedeuten daher nicht, dass ein Unternehmen ohne Menschen funktioniert. Sie zeigen, dass ein erheblicher Teil Routinearbeit automatisiert werden kann, wenn Ziele, Zugang, Messgrößen und Eskalationswege vorher sauber definiert sind.
Für Hugging Face Modelle ist Horizon Labs deshalb weniger ein Beweis universeller Agentenreife als ein praxisnahes Muster für autonome KI-Agenten. Der Agent fand echte Aufgaben, erzeugte funktionierende Artefakte und bewies Nutzung außerhalb des eigenen Accounts. Gleichzeitig zeigten die Vorfälle, dass eine künstliche Umgebung, unvollständige Metadaten und Fehler in der Orchestrierung das Verhalten sichtbar verzerren können.
Die konkrete Bedeutung des Experiments liegt deshalb in der Machbarkeit. Mit überschaubaren Compute-Krediten, öffentlichen Datensätzen, spezialisierten Basismodellen und einer Plattform mit messbarer Nutzung kann ein autonomer Agent eine kleine Open-Model-Organisation aufbauen. Ob daraus ein dauerhaft wachsendes Unternehmen wird, entscheidet nicht allein die Modellqualität. Entscheidend sind außerdem saubere Evaluierung, glaubwürdige Dokumentation, belastbare Zugangskontrollen und ein Design, das Fehler des Menschen nicht mit Vertrauen verwechselt.
Quelle: horizon-labs.ai
