Du arbeitest an einem komplexen Softwareprojekt oder analysierst wissenschaftliche Daten über hunderte Seiten. Bisher musstest du zwischen einem leistungsstarken, geschlossenen Modell und einem offenen, aber schwächeren wählen. Kimi K3 ändert das. Es erreicht erstmals 3 Billionen Parameter im offenen Bereich. Die Entwickler haben nicht nur die Parameterzahl erhöht, sondern die Architektur grundlegend überarbeitet.
Kimi K3 ist kein weiteres großes Modell. Es ist das erste offene Modell mit 2,8 Billionen Parametern – eine Größe, die bisher nur proprietären Systemen vorbehalten war. Die Architektur heißt Kimi Delta Attention (KDA) und Attention Residuals (AttnRes). Sie verbessert, wie Informationen über lange Sequenzen und durch die Netzwerktiefe fließen. KDA funktioniert wie eine gut geplante Autobahn: Daten gelangen schnell ans Ziel, ohne Stau. AttnRes sind Abkürzungen. Das Modell stützt sich direkt auf frühere relevante Erkenntnisse, statt jedes Mal neu zu starten.
Das Modell arbeitet nach dem Prinzip der Mixture of Experts (MoE). Es aktiviert nur einen Bruchteil seiner 896 Experten – genau 16 – pro Anfrage. Das spart Rechenleistung und macht den Einsatz trotz der Größe praktikabel. Kimi K3 ist nicht nur groß, sondern auch offen. Die vollständigen Modellgewichte werden bis zum 27. Juli 2026 veröffentlicht. Ein klares Bekenntnis zur Transparenz, auch wenn die Entwickler einräumen, dass die Leistung von Spitzenmodellen wie Claude Fable 5 oder GPT 5.6 Sol noch nicht ganz erreicht wird.
Programmieren, Compiler und Chip-Design
In der Praxis glänzt Kimi K3 bei langfristigen Programmieraufgaben. Die Entwickler testeten das Modell bei der Optimierung von GPU-Kernen – einer Aufgabe, die tiefes Systemverständnis erfordert. Ohne menschliche Hilfe analysierte Kimi K3 Code, schrieb ihn um und benchmarkte die Ergebnisse über 24 Stunden. Es schnitt besser ab als Opus 4.8 und GPT 5.6 Sol, nur Claude Fable 5 lag gleichauf oder leicht vorn. Ein früher Prototyp von Kimi K3 erledigte den Großteil der Kernel-Optimierungsarbeit für das eigene Team. Ein Modell, das sich selbst verbessert.
Ein weiteres Beispiel: Kimi K3 entwickelte einen vollständigen Compiler namens MiniTriton – von Grund auf. Der Compiler übersetzt eine domänenspezifische Sprache in ausführbaren Code, inklusive Optimierungspässen und Codegenerierung für Nvidia-GPUs. In Benchmarks lieferte MiniTriton teils bessere Ergebnisse als die etablierten Frameworks Triton und torch.compile. Kimi K3 produziert nicht nur isolierte Codefragmente, sondern komplexe Softwarearchitekturen – vom Frontend über Zwischencode bis zur Laufzeitumgebung.
Auch in der Chip-Entwicklung bewies Kimi K3 seine Fähigkeiten. In einem 48-stündigen autonomen Durchlauf entwarf, optimierte und verifizierte das Modell einen Chip, der ein auf seiner eigenen Architektur basierendes Nano-Modell bedient. Der Chip wurde mit Open-Source-EDA-Tools auf einem 45-Nanometer-Prozess entworfen, taktet bei 100 MHz und erreicht in der Simulation über 8.700 Tokens pro Sekunde – auf einer Fläche von vier Quadratmillimetern. Ein Chip, gebaut von einem Modell, für ein Modell. Das gab es im offenen Bereich noch nicht.
Von Astrophysik bis Videoproduktion
Für Wissenschaftler eröffnet Kimi K3 neue Möglichkeiten. In einem Test implementierte das Modell in zwei Stunden den vollständigen Arbeitsablauf einer astrophysikalischen Studie – Literaturrecherche über 20+ Paper, numerische Simulation, Validierung und Erstellung eines interaktiven Dashboards. Was einen erfahrenen Forscher eine bis zwei Wochen kostet, erledigte Kimi K3 in einem Bruchteil der Zeit. Dabei deckte es sogar Inkonsistenzen in veröffentlichten Formeln auf.
Doch Kimi K3 ist nicht nur für Techniker interessant. Die Plattform Kimi Work bietet Widgets und ein Dashboard. Du erstellst interaktive Berichte, animierte Diagramme und visuelle Präsentationen direkt aus dem Chat. Das Modell verarbeitet Webinhalte, PDFs und Daten aus Terminals und generiert komplexe Infografiken. Ein Beispiel zeigt eine interaktive Studie zur ASIC-Branche über 42 Jahre, erstellt aus Zehntausenden von Suchen und Seiten.
Selbst in der Videoproduktion zeigt Kimi K3 Stärken. Das native multimodale Verständnis erlaubt es dem Modell, auf Text-, Bild- und Videoebene zu arbeiten. Es erstellte einen Erklärfilm über seine eigene Architektur im Stil von 3Blue1Brown und schnitt aus 56 Clips einen Teasertrailer mit frame-genauer Synchronisation – eine Arbeit, die für Menschen einen bis fünf Tage dauert.
Architektur und effizientes Training
Die Architektur hinter Kimi K3 ist durchdacht. Die Kombination aus KDA und AttnRes ermöglicht eine effiziente Skalierung weit über eine Billion Parameter hinaus. Stable LatentMoE sorgt für eine stabile Expertenverteilung, während das Quantile Balancing die Router-Gewichte optimiert, ohne heuristische Tuning-Parameter. Neuartige Aktivierungsfunktionen wie Sigmoid Tanh Unit (SiTU) und Gated MLA verbessern die Kontrolle über Aufmerksamkeit und Aktivierung – entscheidend für das Training bei dieser Größenordnung.
Um den riesigen Modellumfang praktisch nutzbar zu machen, setzt Kimi auf quantisierungsbewusstes Training mit MXFP4-Gewichten und MXFP8-Aktivierungen. Das senkt den Speicherbedarf und ermöglicht den Betrieb auf handelsüblicher Hardware – mindestens 64 Beschleuniger in einer Supernode-Konfiguration. Für die Inferenz haben die Entwickler eine spezielle Prefix-Caching-Implementierung für vLLM beigesteuert. Die Token-Kosten bleiben wettbewerbsfähig: 0,30 Dollar pro Million Tokens bei Cache-Treffern, 3 Dollar bei Miss und 15 Dollar für Output-Tokens.
Verfügbarkeit und Bedeutung für offene KI
Verfügbar ist Kimi K3 ab sofort über die Kimi-App (iOS, Android, HarmonyOS), den Desktop-Client Kimi Work (ab Version 3.1.0), die Terminal-Anwendung Kimi Code und die Kimi API. Ein Enterprise-Angebot mit Datenisolation und Mitgliederverwaltung steht bereit. Die offizielle API erreicht bei Code-Workloads eine Cache-Trefferquote von über 90 Prozent. Das hält die Kosten niedrig.
Für die offene KI-Community bedeutet Kimi K3 einen großen Schritt. Es ist nicht das stärkste Modell – das bleiben die proprietären Giganten. Aber es ist das stärkste offene Modell, das je veröffentlicht wurde, zu einem Preis, der breite Nutzung ermöglicht. Die Kombination aus offenen Gewichten, beeindruckender Leistung in langen Kontexten und der Fähigkeit, eigenständig komplexe Artefakte zu erstellen – Compiler, Chips, Forschungsberichte – setzt neue Maßstäbe. Die Frage ist nicht mehr, ob offene Modelle mithalten können, sondern wie schnell sie die Lücke schließen. Kimi K3 zeigt: Der offene Zugang zu frontier-Level-Intelligenz ist keine Utopie mehr. Er beginnt heute.
Quelle: kimi.com
