Continual Learning: Wie Mind Lab mit Macaron-V1 die KI von morgen trainieren will

Continual Learning: Wie Mind Lab mit Macaron-V1 die KI von morgen trainieren will
Deine Reaktion:

Stell dir vor, du erklärst deinem Lieblings-Chatbot jeden Tag aufs Neue, dass du deine E-Mails lieber kompakt und ohne Floskeln bekommst. Und jeden Tag vergisst er es wieder. Kein Lerneffekt, kein Fortschritt. Du hast das Gefühl, mit einem sehr höflichen, aber vergesslichen Gegenüber zu sprechen, das nur den Moment kennt, aber keine Entwicklung. Genau dieses Problem greift ein junges Startup aus China auf. Es heißt Mind Lab und will KI-Modelle nicht nur einmal trainieren, sondern sie ein Leben lang lernen lassen.

Der Name klingt nach Zukunft, und das Konzept dahinter ist es auch: Continual Learning, also kontinuierliches Lernen. Statt ein Modell ein für alle Mal fertig zu trainieren, soll es sich durch die Interaktion mit Nutzern ständig verbessern. Mind Lab hat mit dem Modell Macaron-V1 gezeigt, dass dieser Ansatz nicht nur in der Theorie funktioniert, sondern auch wirtschaftlich trägt. Zwei Wochen nach der Kommerzialisierung der Preview-Version lag der annualisierte Umsatz bereits bei zehn Millionen US-Dollar. Das klingt nach Hype, aber ein genauerer Blick zeigt: Dahinter steckt harte Ingenieursarbeit.

Warum feste Parameter an ihre Grenzen stoßen

Die meisten großen Sprachmodelle haben ein grundsätzliches Problem: Ihre Parameter sind nach dem Training eingefroren. Das heißt, ein Modell wie GPT-4 oder Claude kennt nur das, was es beim Training gesehen hat. Es kann sich nicht an die Vorlieben eines bestimmten Nutzers anpassen, es sei denn, man bettet diese Vorlieben in den Prompt ein. Und selbst dann sind sie nur für diesen einen Dialog relevant. Retraining von Grund auf ist dagegen so teuer, dass es sich kaum ein Unternehmen leisten kann.

Denk an einen Koch, der die beste Küche der Welt gelernt hat, aber trotzdem jedes Mal gefragt werden muss, ob er Salz mag. Er kann nicht einfach lernen, dass du es gerne etwas milder magst – außer du schreibst es ihm jedes Mal auf einen Zettel. Genau so funktionieren klassische KI-Modelle. Mind Lab sagt: Das muss nicht sein. Es gibt einen schlankeren Weg, ein Modell anzupassen, ohne alles neu zu trainieren.

LoRA: kleine Bausteine, große Wirkung

Der Schlüssel heißt LoRA, was für Low-Rank Adaptation steht. Die Idee ist elegant: Statt alle Milliarden Parameter eines Modells zu verändern, fügt man ein kleines, trainierbares Modul hinzu. Dieses Modul ist viel kleiner als das Original, aber es kann auf die spezifischen Anforderungen einer Aufgabe trainiert werden. Das große Grundmodell bleibt dabei eingefroren. Man stelle sich vor, das Grundmodell ist ein sehr kompetenter Generalist. Um ihn zum Spezialisten zu machen, muss man ihn nicht komplett umschulen, sondern nur ein kleines Zusatzbuch in sein Regal stellen, das er im richtigen Moment zur Hand nimmt.

Mind Lab geht einen Schritt weiter: Das Unternehmen setzt nicht nur ein LoRA-Modul ein, sondern gleich mehrere. Diese Expertenmodule werden je nach Aufgabe dynamisch aktiviert. Das nennt sich Mixture of LoRA Adapters, kurz MoL. Eine Art Team von Spezialisten, das sich im Bruchteil einer Sekunde abspricht, wer gerade zuständig ist. Wenn ein Nutzer eine Aufgabe stellt, erkennt das System, welches Modul am besten passt – ob Chat, Coding, Agent oder UI-Generierung. Und während der Nutzer weiterarbeitet, kann aus seinen Interaktionen ein neues, individuelles LoRA-Modul entstehen, das genau auf seine Bedürfnisse zugeschnitten ist.

Macaron-V1: ein Modell mit vier Spezialisten

Im Juli 2025 veröffentlichte Mind Lab die Vollversion von Macaron-V1. Das Flagship-Modell Venti besitzt 748 Milliarden Parameter, aber nur vier Milliarden davon sind tatsächlich trainierbar. Der Rest stammt vom Basismodell GLM-5.2 und bleibt unverändert. Die vier Milliarden verteilen sich auf vier LoRA-Adapter, die für die Bereiche Chat, Agenten, Programmierung und Benutzeroberflächen zuständig sind. Damit hat das Team dem großen Grundmodell eine deutliche Leistungssteigerung entlockt – ohne das teure Volltraining.

Die von Mind Lab veröffentlichten Benchmarks zeigen, dass Macaron-V1 in sechs von zwölf Tests den Stand der Technik erreicht. In den übrigen Tests liegt das Modell nahe an den besten Modellen der Konkurrenz. Natürlich sind solche Zahlen mit Vorsicht zu genießen, schließlich stammen sie vom Unternehmen selbst. Aber die Marktreaktion spricht für sich: Nur zwei Wochen nach der Kommerzialisierung der Preview-Version erreichte das Unternehmen zehn Millionen US-Dollar Jahresumsatz. Das ist bemerkenswert für ein Startup, das erst im Oktober 2025 gegründet wurde.

Die technische Herkulesaufgabe dahinter

So einfach die Idee klingt, so anspruchsvoll ist die Umsetzung. Mind Lab hat Ende 2025 auf dem trillionenparametrigen Modell Kimi K2 LoRA-basiertes Reinforcement Learning durchgeführt. Das ist kein Selbstläufer. Bei dieser Größenordnung reicht schon eine minimale Abweichung zwischen Trainings- und Inferenzpräzision, um das Ergebnis zu verfälschen. Ein Bias-Drift entsteht, das Modell konvergiert nicht mehr. Mind Lab löste das mit einer hybriden parallelen Trainings-Engine, die Tensor-, Pipeline-, Experten- und Sequenzparallelität kombiniert. Zusätzlich kam truncated Importance Sampling zum Einsatz, um die Verteilungsunterschiede zu korrigieren.

Das Ergebnis: Mit 64 Nvidia H800 GPUs erzielte das Team Ergebnisse, die nahe an ein Volltraining heranreichen – bei nur etwa zehn Prozent des GPU-Verbrauchs. In China soll Mind Lab damit das einzige Team sein, das LoRA-basiertes Reinforcement Learning auf einem Trillionen-Parametern-Modell erfolgreich umgesetzt hat. Im Ausland wird lediglich Thinking Machines Lab, das von Mira Murati gegründete Unternehmen, ähnliche Fähigkeiten nachgesagt. Diese technische Meisterleistung ist mehr als ein akademischer Punkt. Sie zeigt, dass Continual Learning auf großem Maßstab praktikabel ist.

MinT: Die Infrastruktur wird zur Mauer

Für Andrew Chen, den Gründer von Mind Lab und ehemaligen Mitautor des FireAct-Papers, liegt der eigentliche technische Vorsprung nicht im Modell, sondern in der Infrastruktur. Im Januar hat das Unternehmen deshalb MinT abgeschlossen, eine Plattform für LoRA-Training und -Inferenz. Kunden können darüer ihre eigenen LoRA-Adapter trainieren und einsetzen. Die Plattform verwaltet über eine Million solcher Adapter. Durch die schlanke Bauweise werden beim Training, Evaluieren und Deployment nur die sehr kompakten LoRA-Module übertragen. Das beschleunigt die Ladezeiten um das Zehnfache.

Chen betont, dass sich das Verhältnis von Post-Training- zu Pretraining-Daten fundamental verschoben hat. Vor einem Jahr lag die Datenmenge für das Nachtraining noch bei einem Zehntel. Heute ist sie bei vielen Modellen höher als die Datenmenge des ursprünglichen Trainings. Und Post-Training ist technisch anspruchsvoller, weil es auf einem bereits trainierten Modell aufbaut. Für Chen ist klar: Wer diese Infrastruktur beherrscht, besitzt einen echten Wettbewerbsvorteil.

Vier Wege, ein Ziel

Continual Learning lässt sich auf unterschiedliche Weise umsetzen. Chen unterscheidet vier Ansätze. Der erste ist der Kontext im Gespräch: Das Modell interpretiert die Absicht des Nutzers innerhalb des Konversationsfensters. Der zweite ist externes Gedächtnis: Eine Datenbank wächst mit dem Wissen, das das Modell abrufen kann. Doch je größer die Datenbank, desto wichtiger wird die Qualität der Suche. Der dritte Ansatz besteht aus komplexen Abläufen und Schleifen – Harnesses, die das Modell mit vielen Werkzeugen verbinden. Das kostet Token und Zeit. Der vierte Ansatz schließlich verändert die Parameter des Modells selbst. Genau an diesem Punkt setzt LoRA an.

Für Chen ist der vierte Weg der vielversprechendste. Wenn ein Modell mit einem LoRA-Adapter erweitert wird, verändert das seine grundlegende Leistungsfähigkeit für eine bestimmte Aufgabe. Es wird zu einem echten Spezialisten. Chen illustriert das mit einer einfachen Rechnung: In manchen Anwendungen teilen sich verschiedene Modelle 99 Prozent ihrer Parameter. Das letzte Prozent entscheidet über den Unterschied. Genau dieses Prozent will Mind Lab trainieren.

Erfahrungsintelligenz als Leitidee

Hinter Macaron-V1 steckt mehr als eine technische Spielerei. Chen spricht von „experiential intelligence“ – Intelligenz, die aus Erfahrung entsteht. Ein Modell soll aus eigenen Interaktionen lernen, diese Erfahrungen in neue Fähigkeiten verwandeln und dadurch schwierigere Probleme lösen. Diese schwierigeren Probleme wiederum erzeugen neue, reichhaltigere Erfahrungen. So entsteht ein Kreislauf, der an das Lernen von Menschen erinnert. Das Modell wird nicht fertig ausgeliefert, es entwickelt sich weiter.

Damit trifft sich Mind Lab mit einer Bewegung, die gerade in der KI-Forschung an Fahrt gewinnt. Richard Sutton, Turing-Preisträger und Vater des Reinforcement Learning, hat im Juli 2025 selbst ein Startup gegründet. Oak Lab soll einen Agenten bauen, der kontinuierlich aus seinen eigenen Erfahrungen lernt. Auch Mira Muratis Thinking Machines Lab verfolgt ähnliche Ideen. Und Jie Tang, Gründer von Z.ai, hat in einem internen Brief angekündigt, dass sein Unternehmen vor allem an Gedächtnis, kontinuierlichem Lernen und Selbstbewertung arbeiten wird. Die Branche hat erkannt: Der nächste große Sprung in der KI wird nicht beim Training, sondern beim Nachlernen passieren.

Was das für dich bedeutet

Wenn sich Continual Learning durchsetzt, wird sich dein Verhältnis zu KI grundlegend ändern. Der Chatbot von morgen wird sich merken, wie du arbeitest, welche Antworten du bevorzugst und in welchem Stil du kommunizierst. Er wird nicht bei jeder Sitzung bei null anfangen. Stattdessen entsteht eine Art digitales Gedächtnis, das sich mit jeder Nutzung aktualisiert. Das ist die Vision, die Mind Lab mit Macaron-V1 andeutet.

Noch ist es eine Vision. Die technischen Hürden sind hoch, und die Benchmarks stammen vom Unternehmen selbst. Aber die Markttests zeigen, dass für diesen Ansatz echtes Interesse besteht. Investoren haben mindestens 60 Millionen US-Dollar in Mind Labs Muttergesellschaft gesteckt, und die Reihe A wurde von Meituan angeführt. Das ist ein Signal: Die Branche wittert das große Geschäft mit den kleinen Adaptern. Am Ende könnte es so sein wie mit dem Koch, der sich endlich deine Lieblingsgerichte merkt – nicht weil du es ihm jedes Mal sagst, sondern weil er gelernt hat.

Quelle: kr-asia.com

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 60
Relevanz 65
Hype 40
Einschätzung 55
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.