Du beauftragst einen KI-Assistenten mit einer Due-Diligence-Prüfung bei einer Übernahme. Du bekommst eine Antwort. Ist sie wirklich gut? Hat die KI alle relevanten Klauseln erkannt, die richtigen Schlüsse gezogen? Die Entwickler von Legora haben einen Benchmark entwickelt, der unter Bedingungen stattfindet, die ein Anwalt jeden Tag erlebt. Der Name: Legora Benchmark for Agentic Reasoning – kurz Legora BAR.
Juristische Arbeit ist kein Multiple-Choice-Test. Es geht um Abwägungen, Interpretationen und die Fähigkeit, aus Hunderten von Dokumenten relevante Informationen zu extrahieren. Bisherige Benchmarks für KI in der Rechtsdomäne liefen in vereinfachten Umgebungen und nutzten öffentlich zugängliche Fälle. Wenn die Testfälle öffentlich sind, können KI-Labore ihre Modelle genau auf diese Fälle trainieren. Die Ergebnisse sind dann geschönt – sie zeigen, wie gut ein Modell auswendig gelernt hat, nicht wie gut es wirklich arbeiten kann. Legora geht einen anderen Weg: Der Benchmark bleibt privat. Die Fälle stammen von echten Kanzleien und werden nicht veröffentlicht. So misst man tatsächliche Fähigkeiten, nicht Trainingsdaten-Erinnerung.
Wie genau sieht dieser Benchmark aus? Legora hat einen ganzheitlichen Ansatz gewählt. Statt nur das KI-Modell zu testen, wird das gesamte System bewertet: die Werkzeuge, die Umgebung mit Dokumenten und Vorlagen, die Formulierung der Aufgabe – und das Modell selbst. Ein Spitzenkoch braucht die richtigen Messer, Herde und Zutaten, und er muss das Rezept verstehen. Das Endergebnis wird nicht danach beurteilt, ob es essbar ist, sondern nach einer detaillierten Checkliste: Ist die Temperatur richtig? Sind die Gewürze ausbalanciert? Manche Kriterien sind wichtiger als andere. Genauso bewertet der Legora BAR die Arbeitsergebnisse.
Die vier Komponenten des Benchmarks
Der Legora BAR besteht aus vier Elementen. Erstens die Aufgabenbeschreibung – das, was der Anwalt dem System sagt. Sie ist präzise formuliert, zielorientiert, aber variabel wie eine echte Anweisung eines Partners an einen Associate. Zweitens der Fallordner („Matter File Room“): eine strukturierte Ablage mit allen relevanten Dokumenten, Vorlagen, Playbooks und Präzedenzfällen. Drittens das eigentliche Arbeitsergebnis von Legora – ein einzelnes Dokument, eine Sammlung von Dateien oder eine Antwort im Chat. Viertens die Bewertungskriterien, die Rubrics. Diese werden von erfahrenen Juristen erstellt und sind binär (erfüllt/nicht erfüllt), aber unterschiedlich gewichtet.
Diese Gewichtung ist ein entscheidendes Detail. Manche KI-Benchmarks bewerten nach dem Alles-oder-Nichts-Prinzip: Entweder die Antwort erfüllt alle Kriterien oder sie fällt durch. Das ist für die Praxis unbrauchbar. Ein Associate, der eine wichtige Klausel übersieht, macht einen schwereren Fehler als einer, der ein unbedeutendes Datum falsch setzt. Legora gewichtet die Rubrics nach dem Risiko für den Mandanten. Hochgewichtete Punkte (etwa das Erkennen einer Change-of-Control-Klausel) ziehen bei Fehlen viel stärker ab als niedriggewichtete (etwa ein Formatierungsdetail). So spiegelt der Score die tatsächliche Qualität wider, wie ein Partner die Arbeit eines Associates beurteilen würde.
Praxis statt Labor: Über 5.000 Fälle aus 28 Rechtsgebieten
Der Benchmark basiert auf einem Korpus von über 5.000 realen Fällen aus 28 Rechtsgebieten – von M&A über IP bis zu Sanktionsrecht. Die Fälle stammen von Kanzleipartnern und Legal Engineers, die ihre Expertise und reale Fallarbeit einbringen. Die Daten werden synthetisiert oder anonymisiert, der Kern bleibt authentisch. Aus diesem Pool wurde eine Teilmenge von mehreren hundert Fällen für den BAR ausgewählt, repräsentativ für die gesamte Bandbreite. Jeder Fall ist nach Schwierigkeitsgrad eingeteilt: Kurz (einige Stunden), Mittel (ein bis drei Tage) und Lang (eine Woche oder mehr). Die Einteilung orientiert sich an der Zeit, die ein menschlicher Experte für die Arbeit bräuchte – ein vertrautes Maß für jede Kanzlei.
Warum werden die Fälle nicht veröffentlicht? Offene Benchmarks landen früher oder später in den Trainingsdaten der nächsten Modellgeneration. Ein hoher Score sagt dann weniger über die Fähigkeit des Modells aus, mit unbekannten Situationen umzugehen, sondern mehr über die Vertrautheit mit dem Testmaterial. Legora hält die Fälle privat – jedes getestete Modell sieht die Arbeit zum ersten Mal, genau wie ein Anwalt, der einen neuen Fall übernimmt. Nur so erhält man ein ehrliches Bild. Aus Transparenzgründen hat Legora einen synthetischen Fall mit dem Partner AfterQuery veröffentlicht, der die Methodik zeigt, ohne die echten Fälle preiszugeben.
Die Bewertungsmethode: LLM-as-a-Judge mit gewichteten Rubrics
Jeder Fall wird dreimal hintereinander in einer isolierten Sandbox-Umgebung ausgeführt, um statistische Schwankungen abzufangen. Die Ergebnisse werden von einem LLM-as-a-Judge bewertet, der die Ausgabe mit den Rubrics vergleicht. Ein Jurist erstellt eine Checkliste mit den Muss-Kriterien für eine perfekte Antwort. Der KI-Judge prüft automatisch, ob jedes Kriterium erfüllt ist, und berechnet einen gewichteten Score. Ein Beispiel: Wird jede wesentliche Change-of-Control-Klausel identifiziert? Hochgewichtet, 1 Punkt. Werden Kündigungsrechte korrekt markiert? Hoch. Wird die kommerzielle Auswirkung der Risiken erklärt? Mittel. Fehlt eine unwesentliche Fristangabe? Niedrig. So erhält man einen differenzierten Qualitätswert, der mehr aussagt als ein einfaches Bestanden/Durchgefallen.
Der Benchmark läuft kontinuierlich. Jede Evaluierung liefert dem Team Hinweise, wo das System verbessert werden kann. Diese Verbesserungen fließen direkt in die Legora-Plattform. Es entsteht ein Kreislauf aus Messen, Identifizieren und Optimieren. Allein durch Optimierungen am Harness (der Infrastruktur, die das Modell mit Werkzeugen versorgt) konnte die relative Ausgabequalität innerhalb eines Monats um 5 Prozent gesteigert werden – mit denselben Modellen.
Ergebnisse: Wo die Modelle sich wirklich unterscheiden
Im Benchmark wurden mehrere Modelle von Anthropic, OpenAI und xAI (Grok) getestet. Bei kurzen, begrenzten Aufgaben arbeiten alle Modelle auf ähnlichem Niveau. Der Unterschied zeigt sich bei längeren, komplexeren Fällen, die mehrere Tage oder Wochen dauern. Hier müssen die Modelle über einen großen Bestand an Dokumenten hinweg konsistentes Urteilsvermögen zeigen. In diesen anspruchsvollen Szenarien stechen Modelle wie Fable 5, Grok 4.5, Opus 4.8 und Sonnet 5 hervor.
Auch der Trade-off zwischen Qualität und Kosten beziehungsweise Latenz wurde untersucht. Grok 4.5 punktet mit der niedrigsten Bearbeitungszeit pro Fall bei hoher Qualität. Opus 4.8 und Sonnet 5 bieten ebenfalls ein gutes Verhältnis von Kosten und Leistung. Der Benchmark ist modellagnostisch ausgelegt: Legora arbeitet mit verschiedenen Anbietern zusammen, testet neue Modelle frühzeitig und gibt Feedback, damit die Modelle besser auf die juristische Domäne zugeschnitten werden können.
Was bedeutet das für die Praxis?
Der Legora BAR zeigt, dass die Qualität von KI in der Rechtsarbeit nicht allein vom Modell abhängt, sondern vom gesamten System – den Werkzeugen, der Integration und der Art, wie Aufgaben formuliert werden. Für Kanzleien bedeutet das: Sie sollten nicht blind dem neuesten Modell hinterherlaufen, sondern darauf achten, wie es in ihrer Arbeitsumgebung performt. Ein Benchmark wie der BAR gibt eine verlässliche Entscheidungsgrundlage. Er misst die Qualität der Arbeit, die ein Mandant am Ende erhält. Und er treibt die Verbesserung voran, weil jeder Test direkt in ein besseres Produkt mündet.
Für alle, die sich mit KI-Technologie beschäftigen, ist der Ansatz von Legora ein Beispiel dafür, wie man Benchmarks seriös und praxisnah gestaltet. Kein Hype, keine geschönten Zahlen – sondern eine ehrliche Messung unter realen Bedingungen. Das ist der Standard, den wir in Zukunft von KI-Anbietern erwarten sollten, nicht nur im juristischen Bereich, sondern überall, wo Maschinen für uns denken und arbeiten.
Quelle: legora.com
