Das Problem mit der Cloud
Du sitzt im Café, öffnest dein Laptop und möchtest eine KI um Hilfe bei einer komplexen Aufgabe bitten. Aber du zögerst: Sollst du deine persönlichen Daten in die Cloud schicken? Oder reicht die Leistung deines Geräts nicht aus für ein modernes Sprachmodell? Bisher war die Antwort meist: Nein. Jetzt gibt es eine Alternative.
Das Team hinter PrismML hat mit Bonsai 27B ein Modell vorgestellt, das die Grenze zwischen lokaler und cloudbasierter KI verschiebt. Es ist das erste Modell seiner Größenklasse mit 27 Milliarden Parametern, das auf einem Smartphone läuft. Bisher war das undenkbar – ein konventionelles 27B-Modell in 16-Bit-Genauigkeit belegt etwa 54 Gigabyte. Zu viel für jedes tragbare Gerät.
Die Lösung liegt in einer Komprimierung. Statt die Gewichte des neuronalen Netzes mit 16 Bit pro Wert zu speichern, verwendet Bonsai 27B nur drei mögliche Werte (−1, 0, +1) oder sogar nur zwei (−1, +1). Das klingt nach einem drastischen Qualitätsverlust. Die Ergebnisse überraschen.
Wie viel Intelligenz steckt in einem Bit?
Stell dir vor, du komprimierst ein hochauflösendes Foto auf ein Zehntel seiner Größe. Normalerweise würde die Qualität stark leiden. Bei neuronalen Netzen ist das anders. Die Entwickler von PrismML haben eine Methode gefunden, die Gewichte so zu quantisieren, dass die wesentlichen Informationen erhalten bleiben. Sie nennen das Konzept Intelligenzdichte: Nutzen pro Gigabyte Speicher.
Bonsai 27B gibt es in zwei Varianten. Die ternäre Version mit 1,71 effektiven Bits pro Gewicht belegt 5,9 Gigabyte und eignet sich für Laptops. Die 1-Bit-Version braucht nur 3,9 Gigabyte und passt auf ein iPhone 17 Pro. Bei einer Testreihe mit 15 Benchmarks – von Mathematik über Programmieren bis Bildanalyse – erreicht die ternäre Version 95 Prozent der Leistung des vollen 16-Bit-Modells, die 1-Bit-Version 90 Prozent.
Besonders interessant: In Mathematik und Programmieren ist der Abstand minimal. Ein Modell auf dem Handy kann fast so gut rechnen und Code schreiben wie eines aus dem Rechenzentrum. Das ist keine Spielerei, sondern eine handfeste Veränderung für alle, die KI nicht nur für einfache Fragen nutzen wollen.
Warum lokale KI für Agenten wichtiger wird
Die wertvollsten KI-Anwendungen verschieben sich von einmaligen Antworten hin zu kontinuierlichen Arbeitsabläufen. Denk an einen Assistenten, der Termine koordiniert, E-Mails filtert, Recherchen durchführt und dabei Dutzende von Zwischenschritten macht. Bisher musste jeder dieser Schritte über die Cloud laufen: Anfrage, Antwort, Latenz, Kosten, Datenübertragung.
Mit einem lokal laufenden Modell ändert sich das. Der Agent lebt auf deinem Gerät. Jeder Schritt ist kostenlos, deine Daten verlassen nie dein Handy. Die Verzögerung sinkt von Sekunden auf Millisekunden. Bonsai 27B unterstützt solche agentischen Workflows: Es kann Werkzeuge aufrufen, mehrstufig denken, Bilder und Dokumente verstehen und über 262.000 Token Kontext verarbeiten.
Das eröffnet neue Kategorien: persönliche Assistenten, die auch offline arbeiten, oder hybride Systeme, die heikle Aufgaben lokal erledigen und nur bei Bedarf die Cloud zuschalten. Bisher fehlte ein Modell, das klein genug und gleichzeitig leistungsfähig genug ist. Bonsai 27B schließt diese Lücke.
Technisch gesehen: Was unter der Haube steckt
Die Komprimierung betrifft das gesamte Netzwerk: Einbettungen, Aufmerksamkeitsebenen, MLPs und den Sprachkopf – alles läuft mit niedriger Bitbreite. Es gibt keine versteckten hochpräzisen Auswege. Die Fähigkeit zum schrittweisen Denken bleibt erhalten, was in Benchmarks wie AIME oder MATH-500 deutlich wird.
Die Bildverarbeitung ist integriert: Der visuelle Teil kommt in einer kompakten 4-Bit-Version, sodass das Modell Screenshots, Dokumente oder Kamerabilder analysieren kann. Die Geschwindigkeit ist beachtlich: Auf einer NVIDIA RTX 5090 erreicht die 1-Bit-Version bis zu 163 Token pro Sekunde, auf einem Apple M5 Max 87 Token pro Sekunde. Auf dem iPhone 17 Pro Max reicht die Performance für flüssige Interaktionen.
Die Entwickler betonen, dass die Methode architekturunabhängig ist. Sie lässt sich auf noch größere Modelle oder neue Architekturen übertragen. Die Komprimierung ist noch nicht am Ende, aber Bonsai 27B ist ein großer Schritt.
Geerdete Einordnung: Was das für dich bedeutet
Lass dich nicht von Zahlen blenden. 27 Milliarden Parameter sind viel, aber nicht alles. Entscheidend ist, wo diese Intelligenz stattfindet. Bisher war ein Modell dieser Größe an ein Rechenzentrum gebunden. Jetzt passt es in deine Hosentasche.
Für Entwickler bedeutet das: Sie können Anwendungen bauen, die bisher an Latenz oder Kosten der Cloud gescheitert sind. Für dich als Nutzer: Deine Daten bleiben bei dir, die KI arbeitet auch ohne Internetverbindung. Die Grenze zwischen Cloud-KI und lokaler KI wird durchlässiger. Bonsai 27B zeigt, dass die Zukunft der KI nicht nur in der Wolke wohnt, sondern auch auf deinem Schreibtisch – oder in deiner Hand.
Quelle: prismml.com
