Du arbeitest in einem Großraumbüro. Kollegen tüfteln an neuen Projekten. Jeder hat sein eigenes Wissen. Brauchst du eine Information, schickst du eine E-Mail mit dem ganzen Projektdokument oder bittest um eine mündliche Erklärung. Beides ist ineffizient: Die E-Mail enthält Details, die du nicht brauchst. Das Gespräch dauert ewig. Genau dieses Problem haben Entwickler von Multi-Agent-Systemen bei Künstlicher Intelligenz. Mehrere KI-Agenten sollen zusammenarbeiten. Bisher tauschen sie Informationen über Token aus – die sprachlichen Bausteine, mit denen KI-Modelle arbeiten. Das ist teuer, langsam und oft ungenau. Ein Team von Ramp Labs hat eine Lösung vorgestellt: Latent Briefing.
Latent Briefing ist ein Algorithmus. Er erlaubt KI-Agenten, relevante Erinnerungen direkt zu teilen – ohne den Umweg über Token. Stattdessen greifen sie auf den KV-Cache (Key-Value Cache) zu, eine Art Kurzzeitgedächtnis des Modells. Ein Beispiel: Du bist Polizist und untersuchst einen Fall. Dein Partner hat alle Akten im Kopf – aber statt dir den ganzen Ordner zu geben, flüstert er dir nur die relevanten Details ins Ohr. Genau das macht Latent Briefing. Der eine Agent (der „Orchestrator“) besitzt ein riesiges Gedächtnis. Der andere (der „Worker“) braucht nur einen bestimmten Teil. Statt dass der Orchestrator alles in Worte fasst und der Worker mühsam filtern muss, extrahiert der Algorithmus die relevanten Aufmerksamkeitsmuster aus dem KV-Cache des Orchestrators und gibt sie direkt an den Worker weiter. Ergebnis: 31 Prozent weniger Token-Verbrauch bei gleichbleibender Genauigkeit. Der Austausch wird nicht nur günstiger, sondern auch bis zu zwanzigmal schneller – von durchschnittlich 320 sequenziellen Lösungsschritten auf nur zwei bis drei Batch-Operationen.
Warum ist der herkömmliche Weg so ineffizient? Multi-Agent-Systeme müssen Kontext teilen, damit jeder Agent weiß, was die anderen bereits wissen oder getan haben. Bisher gab es drei Ansätze, alle mit Nachteilen. Die erste Methode: Zusammenfassungen durch das Sprachmodell (LLM Summaries). Ein Agent schreibt einen langen Text, der andere fasst ihn zusammen. Das dauert 20 bis 60 Sekunden, verliert oft Nuancen und – schlimmer – die Zusammenfassung trifft selten genau das, was der nächste Agent braucht. Die zweite Methode: Retrieval-Augmented Generation (RAG). Der Kontext wird in kleine Stücke zerlegt, der Agent sucht sich relevante Teile heraus. Das klingt effizient, aber es zerbricht Beziehungen zwischen Dokumenten. Ein Zusammenhang über mehrere Absätze geht verloren. Die dritte Methode: den gesamten Kontext übergeben. Das ist nicht nur teuer – jedes Token kostet Rechenleistung und Geld –, sondern auch laut: viel Rauschen, das die eigentliche Information überdeckt. In extremen Fällen verschlechtert sich die Genauigkeit, weil das Modell mit irrelevanten Details überschwemmt wird.
Latent Briefing umgeht diese Fallstricke, indem es Token komplett überspringt. Statt Text zu erzeugen, arbeitet der Algorithmus direkt auf den internen Repräsentationen des Modells – genauer gesagt auf dem KV-Cache. Ein KV-Cache speichert die Schlüssel-Wert-Paare, die ein Transformer-Modell während der Textverarbeitung berechnet. Diese Paare bilden die Grundlage für die Aufmerksamkeit (Attention) des Modells – also dafür, welche Wörter oder Konzepte das Modell als relevant erachtet. Der Clou: Latent Briefing nutzt die Aufmerksamkeitsmuster des Workers, um aus dem KV-Cache des Orchestrators genau die Informationen zu extrahieren, die der Worker für seine Aufgabe benötigt. Das geschieht mit einer angepassten Version des Attention Matching (AM) Algorithmus zur KV-Cache-Kompression. Der originale AM-Algorithmus komprimiert den Cache, indem er ihn in drei Teile aufteilt: C1, β (Beta) und C2. Dabei wird ein Korrekturterm verwendet, um die Aufmerksamkeitsausgaben zu erhalten. Das Team von Ramp Labs hat diesen Algorithmus modifiziert. Drei wesentliche Änderungen: Erstens werden Token nicht nach der eigenen Selbstaufmerksamkeit bewertet, sondern mit einem Score basierend auf der Aufgabenabfrage des Workers. Zweitens wird eine globale Maske über alle Aufmerksamkeitsköpfe gelegt – das ermöglicht massives Batching, also parallele Verarbeitung vieler Anfragen. Drittens kommt ein MAD-normalisiertes Schwellenwertverfahren (Median Absolute Deviation) zum Einsatz, das die Kompression adaptiv an den Informationsgehalt anpasst. Das Ergebnis: Statt viele sequenzielle Schritte durchführen zu müssen, erledigt der Worker seine Aufgabe in wenigen Batch-Operationen. In den Tests des Teams sank die mediane Bearbeitungszeit auf 1,7 Sekunden – ein zwanzigfacher Geschwindigkeitszuwachs.
Dieser Fortschritt hat Konsequenzen für die KI-Entwicklung. Multi-Agent-Systeme gelten als vielversprechender Ansatz für komplexe Aufgaben – etwa in der Robotik, bei automatisierter Datenanalyse oder in Assistenzsystemen. Bisher wurden sie durch hohe Kosten und langsame Kommunikation ausgebremst. Latent Briefing beseitigt diese Hürden: Es senkt die Token-Kosten drastisch und reduziert die Latenz auf ein Minimum. Entwickler können jetzt Systeme bauen, die mehrere Agenten koordinieren, ohne dass die Kosten explodieren. Anwender bekommen schnellere und günstigere KI-Dienste, die Informationen präziser verarbeiten. Beispiel: Eine KI, die aus tausenden Forschungsartikeln relevante Informationen für eine Frage extrahiert. Bisher müsste ein Agent die gesamte Literatur zusammenfassen, ein anderer die Zusammenfassung auf die Frage zuschneiden – das dauert Minuten. Mit Latent Briefing könnte ein Agent die relevanten KV-Cache-Einträge direkt an den anderen Agenten übergeben, der dann blitzschnell die Antwort generiert. Das spart Zeit und Rechenressourcen, was in Cloud-Umgebungen enorme Kostenunterschiede ausmacht.
Eine geerdete Einordnung ist wichtig. Latent Briefing ist kein Allheilmittel. Es setzt voraus, dass die Agenten auf dem gleichen oder kompatiblen Modell basieren – ihre KV-Caches müssen dieselbe Architektur haben. Für heterogene Systeme mit verschiedenen Modellen ist diese Methode nicht direkt anwendbar. Zudem befindet sich der Algorithmus noch in einer frühen Phase. Die Tests von Ramp Labs zeigen vielversprechende Ergebnisse, eine breite Integration in Produktivsysteme steht noch aus. Dennoch: Der Ansatz, Informationen nicht mehr in Token zu übersetzen, sondern direkt auf der Ebene der internen Repräsentationen zu teilen, ist ein radikaler Schritt. Er erinnert an menschliche Kommunikation: Wir erzählen nicht immer alles neu, wir deuten an, setzen gemeinsames Wissen voraus, übergeben Gedankenblitze. Latent Briefing macht das für KI-Agenten möglich. Für alle, die sich mit KI beschäftigen, lohnt es sich, diese Entwicklung im Auge zu behalten.
Quelle: threadreaderapp.com
