Du sitzt vor einem komplexen Programmierprojekt. Vielleicht optimierst du einen GPU-Kernel, baust einen Compiler von Grund auf oder reproduzierst eine wissenschaftliche Arbeit. Bisher war das Handarbeit – oder du hast auf teure, geschlossene Modelle wie Claude Fable 5 oder GPT 5.6 Sol zurückgegriffen. Kimi K3 ist ein neues offenes Modell mit 2,8 Billionen Parametern. Es ist mehr als eine weitere Veröffentlichung: offene KI kann an der Spitze der Forschung mitspielen.
Die Entwickler hinter Kimi K3 – ein Team, das neun der letzten zwölf Monate die Grenzen offener Modelle verschoben hat – stellen ihr leistungsfähigstes Modell vor. Es hat 2,8 Billionen Parameter, native Bildverarbeitung und ein Kontextfenster von einer Million Tokens. Es ist der erste offene Vertreter der 3-Billionen-Klasse. Die Architektur nutzt zwei Neuerungen: Kimi Delta Attention (KDA) und Attention Residuals (AttnRes). Aufmerksamkeit in einem neuronalen Netz funktioniert wie ein Kurier, der Informationen durch Stockwerke trägt. KDA optimiert den Fahrstuhl. AttnRes baut Express-Aufzüge zwischen entfernten Etagen. Das spart Zeit und Energie, ohne Details zu verlieren. Zusammen verbessern sie den Informationsfluss über Sequenzlänge und Modelltiefe.
Hinzu kommt eine skalierte Mixture-of-Experts (MoE)-Sparsity: von 896 Experten werden pro Token nur 16 aktiviert, gesteuert durch ein Stable LatentMoE-Framework. Es ist, als würdest du in einer Bibliothek nur die 16 richtigen Bücher aufschlagen. Die Effizienzsteigerung gegenüber dem Vorgänger Kimi K2 beträgt laut Team etwa das 2,5-Fache.
Leistung auf Augenhöhe mit geschlossenen Modellen
Wie gut ist es wirklich? In den internen Benchmarks des Teams erreicht Kimi K3 das Niveau von Claude Fable 5 – dem aktuellen Spitzenreiter unter geschlossenen Modellen – und übertrifft GPT 5.6 Sol sowie Opus 4.8 deutlich. Offene Modelle hinken oft hinterher. Kimi K3 zeigt, dass Offenheit kein Nachteil sein muss.
Das gilt besonders für Long-Horizon-Coding. Kimi K3 kann über Stunden an einem Projekt arbeiten, große Codebasen navigieren, Terminal-Tools orchestrieren und visuelles Feedback nutzen. Es sieht Screenshots des laufenden Codes und justiert nach. Das Team testete die Fähigkeit in vier Szenarien:
- GPU-Kernel-Optimierung: Jedes Modell bekam 24 Stunden, um Kernel in AttnRes, KDA und MLA auf NVIDIA H200 und alternativen GPUs zu profilieren, umzuschreiben und zu benchmarken. Kimi K3 war konkurrenzfähig mit Fable 5 (mit Fallback) und übertraf Opus 4.8, GPT 5.6 Sol und GPT 5.5.
- GPU-Compiler-Entwicklung: Kimi K3 baute von Grund auf einen kompakten Triton-ähnlichen Compiler namens MiniTriton – mit eigener IR, Optimierungsdurchläufen und PTX-Codegenerierung. In Roofline-Benchmarks lieferte er teils bessere Performance als der hochoptimierte Triton und torch.compile. nanoGPT-Training war stabil.
- Spieleentwicklung und digitale Kreation: Kimi K3 kombiniert 3D-Denken, Coding und Bildverständnis, um aus Konzepten, Bildern und Videos spielbare interaktive Erfahrungen zu machen. Es arbeitet mit Vision-in-the-Loop: sieht das Ergebnis und verbessert es.
- Chipdesign: In einem 48-Stunden-Lauf entwarf Kimi K3 einen Chip für ein Nano-Modell, das auf seiner eigenen Architektur basiert – mit EDA-Tools auf 45nm-Bibliothek. Der Chip schließt Timing bei 100 MHz, belegt 4 mm² und erreicht über 8.700 Tokens/s Decode-Durchsatz.
- Forschungscoding: In rund zwei Stunden reproduzierte Kimi K3 die I-Love-Q-Universalrelationen aus der Astrophysik – ein Workflow, der erfahrene Forscher sonst ein bis zwei Wochen kostet. Es analysierte 20+ Paper, implementierte eine numerische Pipeline, evaluierte 300+ Zustandsgleichungen, fand Inkonsistenzen in veröffentlichten Formeln und erzeugte über 3.000 Zeilen Python plus ein interaktives HTML-Dashboard.
Diese Beispiele zeigen: Kimi K3 schreibt nicht nur Code, sondern steuert komplexe Projekte von Anfang bis Ende – mit minimaler menschlicher Aufsicht.
Wissensarbeit und visuelle Darstellungen
Kimi K3 eignet sich auch für anspruchsvolle Wissensarbeit. In internen Benchmarks, die auf echten Nutzer-Workflows basieren, erzielt das Modell höhere Werte als die Konkurrenz. Einige Beispiele:
- Interaktive Forschungswebsite zur ASIC-Industrie: Kimi K3 erstellte über 120 Iterationen hinweg eine interaktive Visualisierung von 42 Jahren ASIC-Geschichte – mit 2.800+ Websuchen, 1.100+ Terminal-Datenabrufen und über 11.000 Seiten aus 87 Quartalsberichten und 99 Original-PDFs. Das Ergebnis ist ein Drill-down-Bericht mit Charts, Animationen und interaktiven Grafiken.
- Fusions-Industrie-Report: Ein Consulting-Bericht mit interaktiven Visualisierungen wie Zeitleisten, Trichterdiagrammen, Balkendiagrammen und Gantt-Charts.
- Gravitationswellen-Analyse: Kimi K3 analysierte 391 Gravitationswellen-Ereignisse mit 20+ gleichzeitigen Subagenten, erstellte sieben wissenschaftliche Visualisierungen, zwei Tabellen und eine Literatursynthese aus 10+ Papern.
- Dashboard und Widgets: In Kimi Work (Desktop-App) kannst du interaktive Widgets direkt im Chat erzeugen – mit Verbindungen zu lokalen Daten oder externen Plugins für Live-Updates. Ein Dashboard bündelt die wichtigsten Widgets zu einem personalisierten Überblick.
Kimi K3 versteht Text, Bilder und Video in einem Modell. So kann es nicht nur Code schreiben, sondern auch Bewegtbilder analysieren und Videos schneiden. In einem Beispiel erstellte es einen 3Blue1Brown-artigen Erklärfilm über seine eigene Architektur – mit animierten Diagrammen. In einem anderen schnitt es aus 56 Rohclips einen Teaser mit taktsynchronen Übergängen und Audio-Bearbeitung. Dafür bräuchte ein erfahrener Editor ein bis zwei Tage.
Infrastruktur: Wie Kimi K3 skalierbar bleibt
- Quantile Balancing – eine Methode, die Expert-Zuteilung direkt aus den Router-Score-Quantilen ableitet, ohne heuristische Updates oder Balancing-Hyperparameter.
- Per-Head Muon – ein Optimierer, der Aufmerksamkeitsköp
Quelle: kimi.com
Deine Reaktion:Artikel teilen:
