Die Qual der Wahl: Welches KI-Modell passt wirklich?
Du kennst das sicher: Du stehst vor einem Regal voller Werkzeug. Da gibt es die teure Profi-Maschine, das günstige No-Name-Gerät und das Mittelklasse-Modell, das irgendwie gut aussieht. Ohne es auszuprobieren, weißt du nicht, ob es für deinen Arbeitsplatz taugt. Genauso geht es Entwicklern, die heute eine KI-Anwendung bauen. Sie haben eine Auswahl von Hunderten von Modellen, vom schlanken Open-Source-Modell bis zum gigantischen proprietären System. Die meisten treffen ihre Wahl nach Bauchgefühl, nach ein paar Beispielen auf einer Demo-Seite oder nach dem Preis. Das ist nicht unbedingt falsch, aber es ist kein systematischer Weg.
Der Blog-Autor von sebask.de hat sich deshalb einmal angeschaut, wie der Dienst OpenRouter mit einem neuen Tool namens Ori Eval das Problem löst. Die Idee ist so einfach wie überzeugend: Statt über Modelle zu raten, misst man ihre Leistung anhand der eigenen Aufgaben. Ori Eval ist ein Agent, der deinen Code durchsucht, die relevanten Stellen findet, Tests baut und dann Modelle gegeneinander antreten lässt. Das Ergebnis ist eine quantitative Antwort auf die Frage: Welches Modell ist das beste für genau dieses Projekt? Es geht nicht um abstrakte Benchmarks aus dem Internet, sondern um den konkreten Einsatz bei dir.
Ein Agent, der wie ein erfahrener Kollege arbeitet
Ori Eval ist keine klassische Software, die man nach einer Installation durchklickt. Es ist ein KI-Agent. Das klingt erstmal nach Modebegriff, bedeutet hier aber etwas Konkretes: Ori Eval übernimmt den gesamten Evaluationsprozess, von der Analyse deiner Codebasis bis zum fertigen Testbericht. Du musst also kein Experte für Machine-Learning-Evaluation sein. Der Agent führt dich durch den Prozess, wie es ein guter Senior-Entwickler tun würde. Er fragt nach deinen Zielen, schaut sich an, wo in deinem Projekt überhaupt Modelle zum Einsatz kommen, und schlägt dann vor, welche Stellen getestet werden sollten.
Der Ablauf beginnt damit, dass du deinem Coding-Agenten einen einfachen Befehl gibst: /spawn-ori-eval. Das funktioniert direkt über die OpenRouter-MCP-Integration. Der Agent holt sich dann die Anweisungen und installiert Ori Eval in deinem Projekt. Danach übernimmt Ori Eval das Steuer. Es scannt die Codebasis und findet jede Stelle, an der ein Modell aufgerufen wird. Es sieht also nicht nur, dass ein LLM benutzt wird, sondern auch wo, in welchem Kontext und mit welchem Modell. Das ist ein entscheidender Vorteil gegenüber manuellen Tests, bei denen man schnell mal einen Teil übersieht.
Die Prüfinstanz: Drei Dinge zählen
Was passiert eigentlich bei so einer Evaluation? Ori Eval prüft bei jedem Lauf drei Dinge. Erstens: Welche Tools hat der Agent aufgerufen? Zweitens: Welche Tools hat er vermieden? Und drittens: Wie gut ist die Qualität der Antwort? Das klingt technisch, ist aber im Kern einfach. Ein Agent, der zu viele unnötige Funktionen aufruft, kostet Zeit und Geld. Ein Agent, der wichtige Tool-Calls auslässt, liefert möglicherweise falsche Ergebnisse. Und die Antwortqualität lässt sich kaum an einer einzelnen Metrik festmachen. Deshalb nutzt Ori Eval einen LLM-as-a-Judge: Ein weiteres Modell bewertet die offenen Antworten anhand von Kriterien, die vorher mit dir zusammen festgelegt wurden. So entsteht ein Score, der reproduzierbar und vergleichbar ist.
Wer schon einmal versucht hat, KI-Modelle fair zu vergleichen, kennt das größte Problem: Die Umgebung muss gleich bleiben. Wenn der Test mal mit einer anderen Temperatur, mal mit einem anderen Kontextfenster läuft, sind die Ergebnisse wertlos. Ori Eval pinnt deshalb das Test-Harness und das benutzte Modell für den Judge. Das heißt: Jeder Lauf startet unter exakt denselben Bedingungen. Ändert sich das Ergebnis, liegt es am getesteten Modell und nicht an einem verrutschten Parameter. Diese Konsistenz ist das Fundament für verlässliche Aussagen. Der Autor betont, dass genau dieses Detail Ori Eval von vielen anderen Lösungen unterscheidet.
Vom Bug zum Testfall: Regressionen verhindern
Ein besonders nützliches Feature ist die Umwandlung von Bugs in Tests. Angenommen, dein Agent macht bei einer bestimmten Aufgabe einen Fehler. Bei Ori Eval reicht ein Handgriff: Du definierst dieses Fehlverhalten als Test. Der Test schlägt jetzt fehl, genau wie der Bug. Dann änderst du den Code oder das Modell so lange, bis der Test grün ist. Und von da an bleibt der Test in deiner Suite. Wenn jemand später eine Änderung vornimmt, die diesen Fehler wieder einführt, schlägt der Test im CI an und der Build bricht ab. So kommen Fehler nie zu deinen Nutzern. Das ist die gleiche Logik wie beim Test-Driven Development, nur eben für KI-Agenten.
Die Integration in die CI-Pipeline ist ebenso unkompliziert. Man fügt einen Schritt in den GitHub-Actions-Workflow ein und ruft ori eval auf. Da Ori Eval sich wie ein Unit-Test-Framework verhält, ist der Exit-Code entscheidend: Schlägt ein Test fehl, schlägt der Build fehl. Man sollte den Eval-Job allerdings als separaten, optionalen Job konfigurieren, weil echte Modellaufrufe Geld kosten. Aber gerade diese Kontrolle ist hilfreich. Neue Modelle erscheinen inzwischen fast wöchentlich. Mit einem geplanten monatlichen Lauf hast du immer den aktuellen Stand. Ori Eval kann dabei sogar deinen bisherigen Modelltreue-Bonus berücksichtigen: Du legst fest, ob das aktuelle Modell im Mix bleiben soll oder ob nur neue Kandidaten zugelassen sind.
Zugriff auf alle OpenRouter-Modelle
Ein weiterer Punkt, der Ori Eval auszeichnet, ist die Anbindung an OpenRouter. Viele Evaluations-Tools sind auf die Modelle eines einzelnen Anbieters beschränkt. Ori Eval hat dagegen Zugriff auf das gesamte Modellangebot von OpenRouter. Das bedeutet: Du kannst ein günstiges Modell mit einem teuren vergleichen, ohne deine Infrastruktur umzubauen. Der Agent schlägt dir selbst eine Liste von Modellen vor, die zu deinen Kriterien passen. Du kannst etwa einen Preisdeckel setzen oder verlangen, dass dein jetziges Modell in der Auswahl bleibt. Die Entscheidung, welches Modell getestet wird, trifft also nicht jemand anderes für dich, sondern gemeinsam mit dir.
Auch die Preisfrage spielt eine Rolle. Der Autor weist darauf hin, dass OpenRouter nicht nur die neuesten Flagship-Modelle auflistet, sondern auch viele ältere oder kleinere Modelle, die oft ein besseres Preis-Leistungs-Verhältnis haben. Ori Eval ist explizit darauf ausgelegt, genau solche Modelle zu finden. Wenn du zum Beispiel nur einfache Klassifikationen machst, brauchst du kein 100-Milliarden-Parameter-Modell. Ein schlankes Modell reicht, läuft schneller und kostet weniger. Die Evaluationsergebnisse zeigen dir das in Zahlen.
Datenschutz und Login: So bleibt es sicher
Kritische Gemüter fragen sich bei solchen Tools sofort, was mit ihren Daten passiert. Ori Eval bietet hier eine klare Antwort: Du entscheidest, ob deine Daten in die Evaluierung einfließen. Der Agent fragt dich vor jedem Lauf, ob deine Daten verwendet werden sollen. Für die interaktive Nutzung muss man sich einmalig mit ori login anmelden. Dabei öffnet sich der Browser bei OpenRouter, und die Zugangsdaten werden gespeichert. Ein händisches Eintippen von API-Schlüsseln ist also nicht nötig. Für CI-Umgebungen nutzt man stattdessen die Umgebungsvariable OPENROUTER_API_KEY, die aus einem Secret der Repository-Einstellungen stammt. Diese Trennung zwischen interaktiver und automatisierter Nutzung ist durchdacht.
Die Netell-basierten Testdateien liegen als normale .eval.ts-Dateien vor. Sie werden mit bun test ausgeführt. Das bedeutet: Deine Evaluation ist reiner Code, den du versionieren, reviewen und weiterentwickeln kannst. Du bist also nicht an ein proprietäres Format gebunden. Der Autor erklärt, dass das ein großer Vorteil ist, weil Evaluationen damit überprüfbar und reproduzierbar bleiben. Du kannst sogar den Judge-Mechanismus an deine Bedürfnisse anpassen. Die Standard-Einstellung ist bereits vorkalibriert, aber wer will, kann eigene Kriterien festlegen und Mindestpunktzahlen definieren. Das geht so weit, dass du für jede Testfrage eigene Gold-Antworten hinterlegst, gegen die neue Modelle bewertet werden.
Wer sollte Ori Eval nutzen?
Man könnte meinen, so ein Tool sei nur etwas für große Unternehmen mit dedizierten ML-Teams. Das Gegenteil ist der Fall. Ori Eval ist für alle gedacht, die eine App mit KI-Funktionen bauen, egal ob Solo-Entwickler, Startup oder Konzern. Du musst kein Experte für Evaluationsmethoden sein. David gegen Goliath funktioniert hier: Der Agent übernimmt die Komplexität. Er stellt die richtigen Fragen, schlägt Testfälle vor und erklärt, warum er bestimmte Modelle ausgewählt hat. Das erinnert an einen erfahrenen Kollegen, der dir über die Schulter schaut und nicht einfach eine Lösung hinknallt, sondern dir zeigt, wie man zu der Lösung kommt.
Viele Teams wählen ihr KI-Modell nach dem Prinzip „Das größte, das wir uns leisten können“. Das ist verständlich, aber oft verschwenderisch. Ori Eval setzt auf eine andere Herangehensweise: Das beste Modell ist nicht das mit den meisten Parametern oder dem höchsten Leaderboard-Punktestand. Es ist das Modell, das bei deinen Daten, deinen Aufgaben und deinen Randbedingungen am besten abschneidet. Und genau das misst das Tool. Es schaut auf deine Codebasis, nicht auf generische Benchmarks. Man könnte sagen: Ori Eval ist der TÜV für deine KI-Modelle – seriös, gründlich und ergebnisorientiert.
Was bleibt: Geerdete Einordnung
Natürlich ist auch ein so gutes Tool kein Allheilmittel. Evaluationen kosten Zeit und Geld, und sie bilden immer nur den Ausschnitt ab, den du testest. Doch das ist kein Widerspruch. Im Gegenteil: Der bewusste Umgang mit diesen Kosten ist Teil des Konzepts. Du entscheidest, wie oft du läufst und welche Modelle du testest. Die Ergebnisse geben dir eine klare Handlungsgrundlage. Du weißt am Ende nicht nur, welches Modell gewinnt, sondern auch warum. Das schützt vor Bauchentscheidungen, die später teuer werden können.
Für alle, die schon länger mit KI arbeiten, ist Ori Eval ein logischer nächster Schritt. Die Branche professionalisiert sich. Anstatt jeden Monat manuell zu prüfen, ob ein neues Modell besser ist, überlässt man das einem Agenten, der es zuverlässig und dokumentiert erledigt. Der Autor von sebask.de sieht darin die Zukunft der Modellauswahl: systematisch, reproduzierbar und immer auf dem aktuellen Stand. Wer einmal mit echten Zahlen gesehen hat, wie viel besser das richtige Modell für den eigenen Anwendungsfall ist, möchte nicht mehr zurückraten. Ori Eval liefert genau diese Zahlen.
Quelle: openrouter.ai
