„Ein einziger KI-Output ist ein Beispiel, keine Bewertung.“ Dieser Satz klingt banal, wird in der Praxis aber oft ignoriert. Wer mit KI-Systemen arbeitet, kennt das: ein Testinput, ein plausibles Ergebnis, und schon wirkt das System zuverlässig. Doch ein einzelner Durchlauf sagt nichts darüber, ob das System auch bei anderen Eingaben und Wiederholungen diese Leistung bringt. Der Artikel argumentiert dagegen: Teams sollen nicht länger von einem einzelnen Output auf die Qualität eines KI-Systems schließen.
Stattdessen schlägt der Beitrag vor, KI-Systeme wie in einer quantitativen UX-Studie zu evaluieren: viele repräsentative Testeingaben, mehrere Wiederholungen pro Eingabe, dazu eine statistische Zusammenfassung mit Mittelwerten und Konfidenzintervallen. Das kennt man aus der Marktforschung. Genau darum geht es: keine neue Wissenschaft der KI-Messung, sondern bewährte experimentelle Prinzipien anwenden.
Wieso ein einzelner Testlauf unzuverlässig ist
Warum ein einzelner Output nicht reicht: KI-Sprachmodelle arbeiten nichtdeterministisch. Gleiche Eingabe, unterschiedliche Ausgaben. Für jedes nächste Token berechnen sie eine Wahrscheinlichkeitsverteilung und wählen daraus, oft per Zufallsstichprobe. Dieselbe Frage kann also zweimal gestellt ganz unterschiedliche Antworten liefern – im Wortlaut und in der Qualität.
Das ist kein Randphänomen. Wiederholte Generationen desselben Modells zeigen messbare Leistungsunterschiede, und Evaluationsergebnisse hängen von der Art der Ausgabeerzeugung ab. Wer klassische Software gewohnt ist, kennt das nicht: Ein deterministisches Programm, das einmal korrekt läuft, läuft unter denselben Bedingungen immer korrekt. Diese Erwartung überträgt man unbewusst auf KI-Systeme – zu Unrecht. Ein einzelner guter Output beweist nur, dass das System die Aufgabe prinzipiell kann. Nicht, wie oft es das unter realen Bedingungen tut.
KI-Evaluation wie eine UX-Studie
Ein Vergleich macht das deutlich: Wer die Usability eines Checkout-Prozesses misst, lässt nicht eine Person eine Aufgabe erledigen und schließt daraus, der Prozess sei perfekt. Man definiert repräsentative Aufgaben, die verschiedene Produkttypen und Käufersituationen abdecken, beobachtet viele Teilnehmer und berechnet für Metriken wie Aufgabenerfolg oder Bearbeitungszeit einen Durchschnittswert. Dazu kommt ein Konfidenzintervall, also der Bereich, in dem der wahre Wert der Grundgesamtheit mit hoher Wahrscheinlichkeit liegt. Dieses Vorgehen lässt sich auf KI-Evaluationen übertragen.
Die Analogie ist nicht perfekt. Ein KI-Lauf ist kein menschlicher Teilnehmer, eine Testeingabe keine Aufgabe mit allen situativen Feinheiten. Aber die Grundlogik ist dieselbe: Man sammelt mehrere Beobachtungen, um die Leistung des Systems zu schätzen. Die UX-Forschung fasst Ergebnisse über Aufgaben und Teilnehmer hinweg zusammen. KI-Evaluationen sollten das auch tun – mit repräsentativen Eingaben, genügend Wiederholungen und einer Auswertung, die Mittelwert, Streuung und Unsicherheit ausweist.
Ein Beispiel: Kundenservice-Fragen fünfmal stellen
Ein Beispiel zeigt, wie das aussehen kann. Ein KI-gestützter Kundenservice beantwortet Fragen zu Unternehmensrichtlinien. Man wählt zehn repräsentative Fragen aus, die unterschiedliche Themen, Komplexitätsgrade und Kundensituationen abdecken: Rückgaben, Stornierungen, Schäden, Abonnements, Garantien. Jede Frage wird fünfmal eingereicht, insgesamt also 50 Antworten. Die Zahlen sind nur illustrativ. Je nach Variabilität des Systems und Tragweite der Entscheidungen braucht es in der Praxis mehr Fragen oder mehr Wiederholungen.
Vor der Datenerhebung muss klar sein, was eine akzeptable Antwort ist. Der Artikel nennt vier Kriterien: Sie muss die Frage korrekt beantworten, alle wichtigen Bedingungen und Ausnahmen enthalten, mit den Unternehmensrichtlinien übereinstimmen und dem Kunden bei Bedarf einen nächsten Schritt nennen. Fehlt ein Kriterium, gilt sie als nicht akzeptabel. Aus den 50 Antworten lässt sich der Anteil akzeptabler Antworten berechnen, dazu ein Konfidenzintervall. Ebenso wichtig: Wie stark schwankt die Qualität zwischen den zehn Fragen? Wie konsistent antwortet das System auf dieselbe Frage?
Eine Evaluation ist immer nur eine Momentaufnahme. Modellversion, Prompt, Einstellungen, Tools und Kontext gehören sorgfältig dokumentiert. Ändert sich eine dieser Komponenten, muss die Evaluation unter Umständen wiederholt werden. Nur so sind Ergebnisse nachvollziehbar und vergleichbar.
Zwei Formen von Variabilität: Testeingaben und Wiederholungen
Das Beispiel zeigt: Eine KI-Evaluation muss zwei getrennte Fragen beantworten. Erstens: Wie gut funktioniert das System über die Bandbreite an Eingaben, die Nutzer real stellen? Das ist die Testeingaben-Variabilität. Ein Kundenservice-System kann bei kurzen, klaren Fragen wie „Wo ist meine Bestellung?“ hervorragend arbeiten, aber bei komplexen Ausnahmefällen versagen. Enthält die Evaluation überwiegend einfache Fragen, überschätzt sie die reale Leistung. Die Testeingaben müssen also repräsentativ für die tatsächliche Nutzung sein. Quantität allein genügt nicht – viele einfache Fragen liefern ein präzises Ergebnis für die falsche Frage.
Die zweite Frage betrifft die Wiederholungs-Variabilität: Wie konsistent antwortet das System auf dieselbe Eingabe? Da es nichtdeterministisch ist, kann die Qualität variieren. Ohne wiederholte Läufe bleibt unklar, ob eine Aufgabe zuverlässig gemeistert wird oder nur gelegentlich gelingt. Mehr Testeingaben verbessern die Schätzung der Leistung über den Eingabenraum, mehr Wiederholungen die Schätzung der Konsistenz für eine bestimmte Eingabe. Beide Maßnahmen betreffen unterschiedliche Risiken. Das eine ersetzt das andere nicht.
Derselbe Score kann auf unterschiedliche Schwächen hinweisen
Dazu ein Beispiel: Zwei Kundenservice-Systeme werden mit zehn Fragen und fünf Wiederholungen getestet. Beide erreichen 80 Prozent akzeptabler Antworten – auf den ersten Blick gleich gut. Doch die Fehler verteilen sich völlig unterschiedlich. Das erste System antwortet auf acht Fragen in jedem Lauf korrekt und scheitert bei zwei Fragen konsequent. Das zweite System antwortet auf jede Frage in vier von fünf Läufen korrekt und versagt unregelmäßig über alle Fragen. Die identische Quote verdeckt zwei sehr verschiedene Probleme.
Dieser Unterschied ist in der Praxis entscheidend. Ein System, das immer an denselben Stellen scheitert, lässt sich gezielt verbessern – mit besseren Trainingsdaten oder angepassten Prompts für diese Frageklassen. Ein System, das unregelmäßig mal gut, mal schlecht antwortet, hat ein grundsätzlicheres Zuverlässigkeitsproblem. Wer nur den Gesamtscore betrachtet, sieht das nicht. Erst die Auswertung auf Ebene einzelner Fragen und Läufe zeigt, wo man ansetzen muss.
Konfidenzintervalle und Variabilität auszuwerten ist aufwendiger als ein einzelner Testlauf. Dafür bekommt man eine realistischere Einschätzung der Zuverlässigkeit von KI-Systemen. Wenn KI zunehmend Entscheidungen unterstützt oder übernimmt, ist das kein Luxus, sondern notwendig. Ein einzelnes gutes Beispiel ist schön. Es sagt nur nichts darüber, was im nächsten Moment passiert, wenn der Kunde dieselbe Frage stellt.
Quelle: nngroup.com
