15 Prozentpunkte trennen zwei Arten von Agenten-Speicher auf dem LongMemEval-M-Benchmark – ein deutlicher Abstand beim Langzeitgedächtnis. Nicht die Modelle selbst sind gemeint, sondern die Systeme, die ihnen erlauben, sich über Gespräche hinweg zu erinnern. Der Unterschied liegt in der Architektur: Dateibasierte Speicher, strukturierte Datenbanken und trainierte Gedächtnisfunktionen konkurrieren darum, wer dem Agenten das beste Langzeitgedächtnis gibt.
Wer mit KI-Agenten arbeitet, kennt das Problem nach kurzer Zeit. Der Agent begrüßt dich jeden Tag freundlich, aber er weiß nicht mehr, woran ihr gestern gearbeitet habt. Du wiederholst dieselben Projektinfos, Präferenzen und Anweisungen – jedes Mal von vorn. Moderne Memory-Systeme versprechen, diesen Zustand zu beenden, aber die Ansätze unterscheiden sich erheblich.
Drei Formen, eine Aufgabe: Speicher für Agenten
Der Artikel unterscheidet drei grundlegende Formen, wie ein Agent Gedächtnis bekommt. Die erste ist der dateibasierte Speicher. Hier kuratiert das Modell selbst Markdown-Dateien: einen kurzen Index und separate Themendateien. Beim Lesen wird der Index in den Kontext geladen, dann sucht das Modell per Grep und liest die Dateien. Diese Form setzen Claude Code, Cline, Cursor und Windsurf heute ein.
Die zweite Form ist der strukturierte Speicher. Jede Interaktion wird in atomare Fakten zerlegt, in einen Vektorindex eingebettet und in einen zeitlichen Graphen einsortiert. Beim Abrufen liefert eine Rangfolge die relevantesten Einheiten zurück. Diesen Weg gehen spezialisierte Startups wie mem0, Letta und Zep. Die dritte Form ist das erfahrungsbasierte Gedächtnis. Hier wird das Verhalten des Agenten durch Reinforcement Learning trainiert, sodass er selbst lernt, was er abrufen und wie er es nutzen soll – ohne dass ein externer Speicher die Entscheidung trifft.
Der Autor hat die ersten beiden Systeme selbst implementiert, um sie unter identischen Bedingungen zu vergleichen. Sein Ziel war nicht, über die Systeme zu spekulieren, sondern ihre Leistung messbar zu machen. Dazu liefen beide Speicher hinter derselben Agentenschleife, mit demselben lokalen Open-Weight-Modell und demselben Bewertungssystem auf öffentlichen Benchmarks. Dadurch blieben alle Unterschiede auf die Speicherschicht beschränkt.
Dateibasiertes Gedächtnis: Das Modell als Hausverwalter
Dateibasiertes Gedächtnis setzt auf die Urteilsfähigkeit des Modells auf dem Schreibpfad. Nach jedem Gespräch entscheidet das Modell, ob etwas bewahrt werden soll. Wenn ja, editiert es eine Datei: eine Zeile im Index, ein Absatz in einer Themendatei. Der Index bleibt bewusst klein – meist auf etwa 200 Zeilen begrenzt – denn er wird bei jeder Sitzung komplett in den Kontext geladen. Alle Details liegen in Themendateien, die erst geöffnet werden, wenn das Modell sie braucht.
Beim Lesen hilft keine Semantik, sondern eine wörtliche Suche. Das Modell hält den Index im Blick und durchsucht die Dateien per Grep. Es gibt keinen Embedder, keinen Rangierer. Das gesamte System besteht aus der Urteilskraft des Modells und einem Textsuchwerkzeug. Das ist der Grund, warum dieser Ansatz so leicht zu implementieren ist: Wer Dateizugriff hat, hat diese Speicherform.
Attraktiv ist das aus einem einfachen Grund: Claude Codes Auto-Memory, das Gedächtnis-Primitiv in der Anthropic-API, die Memory Bank aus der Cline-Community und die automatischen Erinnerungen in Cursor und Windsurf – alle folgen diesem Muster. Wichtig ist die Abgrenzung zu statischen Anweisungsdateien wie AGENTS.md oder CLAUDE.md. Diese werden von Menschen geschrieben und sind keine akkumulierten Erinnerungen, sondern Anweisungen. Der Vergleich im Artikel gilt ausschließlich der modellgeschriebenen Variante.
Strukturiertes Gedächtnis: Extraktion, Vektoren, Graphen
Strukturiertes Gedächtnis verschiebt die Arbeit auf dem Schreibpfad. Jede Runde wird in atomare Einheiten zerlegt, eingebettet und mit dichten sowie spärlichen Vektoren gespeichert. Salienten Fakten wandern in einen Graphen, dessen Kanten Gültigkeitsfenster besitzen. Eine spätere Tatsache kann eine frühere überschreiben, ohne sie zu löschen. Ein Hintergrundprozess konsolidiert Duplikate und verschmilzt den Graphen. Das Modell muss bei jedem Schreibvorgang nicht mehr denken – das übernehmen Extraktion und Einbettung.
Beim Abrufen kommt eine hybride Rangfolge zum Einsatz. Die auffälligsten Einheiten werden bereits vor der ersten Nutzerfrage vorgeladen, sodass der Agent oft antwortet, ohne überhaupt suchen zu müssen. Dieser Ansatz bildet das Fundament der dedizierten Memory-Startups. mem0 extrahiert Fakten in einen vektororientierten Speicher mit optionaler Graphenebene. Letta, früher MemGPT, blättert gestufte Speicherinhalte in und aus dem Kontext. Zep baut einen bi-temporalen Wissensgraphen – die stärkste Form dieser Idee.
Aus dieser Aufteilung ergeben sich zwei zentrale Entscheidungen. Erstens: Was wird gespeichert? Dateibasiert entscheidet das Modell, was ihm wichtig erscheint. Strukturiert wird alles gespeichert – und dann sortiert. Zweitens: Was wird gefunden? Dateibasiert findet eine wörtliche Suche, was ein kleiner Index hergibt. Strukturiert findet ein Ähnlichkeitsrangierer, der einem unbegrenzt wachsenden Speicher gegenübersteht.
Doch auch im strukturierten Lager gibt es zwei Linien, die sich stärker unterscheiden, als ein gemeinsamer Name vermuten lässt. Die eine organisiert nach Orten, die andere nach Entitäten und Zeit. Ortsbasiert ist MemPalace: Menschen und Projekte werden zu Flügeln, Themen zu Räumen, und der Originaltext liegt in Schubladen. Der Vorteil ist, dass beim Schreiben keine Modellvernunft nötig ist – nur Einbettung und Ablageentscheidung. Die Schwäche zeigt sich bei der Aggregation: Eine Antwort, die über viele Räume verstreut ist, hängt davon ab, ob eine einzige Rangabfrage alle Teile gleichzeitig findet. Kein Artefakt hat sie vorab gesammelt.
Die andere Linie, verkörpert durch Zeps Graphiti, speichert einen Wissensgraphen. Rohe Nachrichten bleiben als Wahrheit bestehen. LLM-extrahierte Entitäten werden über Sitzungen hinweg dedupliziert und mit gepflegten Zusammenfassungen versehen. Faktenkanten zwischen Entitäten tragen Zeitstempel und relative Daten werden beim Speichern in absolute umgerechnet. Widerspricht eine neue Tatsache einer alten, wird das Gültigkeitsfenster der alten Kante geschlossen, nicht gelöscht. Der Leser erhält destillierte Fakten mit Datumsbereichen – niemals rohe Nachrichten. Der Preis dafür ist hoch: Bei jeder Nachricht muss ein LLM aufwändig extrahieren, auflösen und invalidieren.
Was die Zahlen sagen: Ein Vergleich unter gleichen Bedingungen
Um die beiden Speicherformen fair zu vergleichen, baute der Autor beide Systeme nach und machte sie öffentlich – inklusive Skripten und einer genauen Auflistung, welche veröffentlichten Zahlen nicht reproduziert werden konnten. Als Bewertungsinstanz diente gpt-4o-mini, dasselbe Modell, mit dem auch die Anbieter selbst ihre Ergebnisse erzielt hatten. Das Ergebnis: Der strukturierte Speicher schlägt Dateien sowohl bei der Genauigkeit als auch bei den Token-Kosten. Dateien gewinnen nur dort, wo der Speicher klein bleibt oder wo die richtige Antwort „Ich weiß nicht“ ist.
Überraschend ist ein Ergebnis, das gegen die eigene Erwartung des Autors spricht: Sein Hybrid – ein assoziativer Graph, der lernt, welche Stellen tatsächlich gemeinsam abgerufen werden – ist auf dem LoCoMo-Benchmark statistisch nicht von einem einfachen Vektorindex zu unterscheiden. Auf dem langen Heuhaufen von LongMemEval-M dagegen trennen sich die beiden Speicher um 15 signifikante Punkte zugunsten des Hybriden. Das deutet darauf hin, dass Struktur umso mehr zahlt, je länger die Gesprächshistorie wird.
Wichtig ist die Einschränkung: Kein einzelner Benchmark kann Gedächtnissysteme abschließend bewerten. Ein weiterer Befund relativiert die Architekturdebatte zusätzlich: Der Austausch des Modell-Stacks, der den Speicher liest und bewertet, verschiebt das Ergebnis stärker als der Wechsel zwischen zwei beliebigen funktionierenden Speichern. Zahlen aus verschiedenen Protokollen lassen sich deshalb nicht direkt übertragen.
Erfahrungsbasiertes Gedächtnis: Wenn Training den Speicher lernt
Die dritte Form lässt sich nicht in den kontrollierten Vergleich einordnen. Der Artikel behandelt sie deshalb gesondert. Beim erfahrungsbasierten Gedächtnis werden Episoden zwar in einer Bank abgelegt, aber alles, was sie zu Gedächtnis macht – was abgerufen wird, ob man ihm vertrauen kann, wie es in Handlung übersetzt wird – ist durch Verstärkungslernen in die Handelspolitik des Modells selbst eingebacken. Trennt man die Bank ab, erhält man eine andere Politik, keine Basislinie. Deshalb konzentriert sich der Autor auf die Anwendungsfälle.
Das Ergebnis: Abgerufene Erfahrung zahlte sich nur dort aus, wo das handelnde Modell schwach war und noch Luft nach oben hatte. In Aufgaben, die sich durch reines Nachdenken lösen lassen, erreicht ein Frontier-Modell die Leistung des trainierten Systems – ganz ohne Gedächtnis. Nur dort, wo die Belohnung eine Form hat, die sich nur durch Praxis erlernen lässt, steht das trainierte System allein da. Das ist die agentische Spitze der Entwicklung, und es deutet darauf hin, dass Gedächtnis nicht immer die Lösung ist – manchmal ist es schlichtes Können.
Was das für deinen Arbeitsalltag bedeutet
Wenn du vor der Wahl stehst, wie du das Gedächtnis deines Agenten aufbaust, prüfe zuerst die Größe des Gedächtnisses und die Natur der Aufgabe. Kleine, überschaubare Projekte mit einer Handvoll wichtiger Fakten kommen mit Dateien hervorragend aus – einfach, transparent, ohne Zusatzinfrastruktur. Sobald die Historie wächst und du viele zusammenhängende Details benötigst, lohnt sich der Umstieg auf strukturierte Speicher. Die Anfangsinvestition in Extraktion und Einbettung zahlt sich durch bessere Trefferquoten und geringere Token-Kosten aus.
Ein weiterer Punkt ist die Wahl des Modells. Die Benchmark-Ergebnisse zeigen deutlich, dass ein stärkeres Modell den Speicher besser nutzt – unabhängig von dessen Architektur. Die beste Speicherschicht hilft wenig, wenn das dahinterliegende Modell nicht in der Lage ist, die relevanten Informationen auch strategisch einzusetzen. Es lohnt sich also, nicht nur das Speichersystem zu optimieren, sondern auch das Modell, das es bedient.
Und: Verlasse dich nicht auf einen einzigen Benchmark. Die Ergebnisse unterscheiden sich je nach Datensatz und Setup erheblich. Ein hybrides System, das bei langen Kontexten um 15 Punkte vorne liegt, kann bei kurzen Gesprächen gleichauf mit einem simplen Index liegen. Miss deine eigenen Anwendungsfälle mit deinen eigenen Daten – nur so erfährst du, welche Speicherform für dich tatsächlich den Unterschied macht. Das ist keine Ernüchterung, sondern eine Einladung zum Experimentieren.
Quelle: pinglin.tw
