Am Dienstagvormittag sitzt ein Produktmanager im Quartalsreview und klickt eine Folie weiter, die er seit Wochen kennt. Darauf steht eine Zahl: Kunden, die den KI-Assistenten aktiviert haben, bleiben dem Produkt 15 Punkte häufiger treu als Kunden, die ihn nicht aktiviert haben. Balkendiagramm, zwei Balken, saubere Achse. In drei Führungsrunden hat niemand nach der Herkunft dieses Vergleichs gefragt.
Niemand in diesen Runden hat den Assistenten zufällig verteilt. Die Funktion wurde für berechtigte Konten freigeschaltet, ein Teil davon hat sie eingeschaltet, und die Auswertung vergleicht seither die einen mit den anderen. Der Vergleich zeigt keine Wirkung. Er zeigt, wer sich meldet.
Wenn du solche Zahlen verteidigst oder bezweifelst, hilft ein zweiter Blick – nicht auf das Diagramm, sondern auf die Frage dahinter. Bei KI-Technologie ist dieses Problem größer als bei fast jeder anderen Produktfunktion, und das liegt erstaunlich selten an den Modellen. Es liegt daran, wie viele Entscheidungen zwischen verfügbar und im Einsatz liegen.
Um einen KI-Assistenten tatsächlich zu nutzen, muss jemand die Veröffentlichung bemerken, ihn freischalten, ihm genug vertrauen, um ihn dem eigenen Team vorzusetzen, Leute darauf schulen und ihn in einen Arbeitsablauf einbauen. Danach muss er auch dann noch benutzt werden, wenn die Neuheit verflogen ist. Jeder dieser Schritte verrät etwas über das Konto: wie engagiert die Administration arbeitet, ob es Rückhalt in der Führung gibt, wie technisch versiert das Team ist, wie reif das Produkt im Alltag angekommen ist und wie groß die Bereitschaft für Veränderung ausfällt. Das ergibt zusammen ein Signal, das stärker ist als die Funktion selbst.
Die Mechanik erinnert an einen freiwilligen Kurs im Betrieb, den nur ein Teil der Belegschaft besucht. Wer teilnimmt, steigt später häufiger auf. Der Kurs ist trotzdem nicht der Grund: Die Leute, die sich melden, waren schon vorher die Ehrgeizigen und hätten den Aufstieg auch ohne ihn geschafft. Genauso ist es mit dem KI-Feature. Sobald ein Konto als Adopter in der Tabelle auftaucht, lässt sich dieses Flag kaum noch von einem Maß für organisatorische Reife unterscheiden.
Reife sagt die Retention von allein voraus. Das Feature fährt nur mit. Und wer in der nächsten Sitzung nach dieser Zahl greift, greift in Wahrheit nach einem Reifeindikator, den niemand bewusst gemessen hat.
Drei verschiedene Fragen stecken in einer einzigen Zahl
Hinter dem Satz vom Effekt des KI-Assistenten verbergen sich drei verschiedene Größen, und die Folie wirft sie ineinander. Die erste ist der Effekt bei denen, die adoptiert haben: Wie viel schlechter wäre ihre Retention, wenn sie den Assistenten nicht eingeschaltet hätten? Das ist die Zahl, die das Produktteam will, weil sie die Kunden beschreibt, die die Funktion tatsächlich erlebt haben.
Die zweite ist der Effekt bei allen Berechtigten: Was würde sich ändern, wenn jedes berechtigte Konto adoptieren würde statt niemand? Das ist die Zahl, die die Finanzabteilung braucht, weil sie beschreibt, was eine verpflichtende Einführung oder eine Voreinstellung auf an bewirken würde. Ob sie größer oder kleiner ausfällt als die erste, ist eine empirische Frage über die Verteilung der Effekte, keine Selbstverständlichkeit.
Die dritte ist der Effekt an der Grenze: Was macht es für Konten direkt an der Berechtigungsschwelle aus, berechtigt zu sein, und was bringt das Adoptieren denen, die nur wegen dieser Berechtigung adoptieren? Das sind zwei Zahlen, nicht eine. Und es sind die Zahlen, nach denen fast niemand fragt – obwohl sie sich meist am saubersten schätzen lassen und am direktesten die Entscheidung beantworten, die tatsächlich auf dem Tisch liegt: ob die Berechtigungsregel verschoben wird.
Der naive Vergleich schätzt keine dieser drei Größen. Er schätzt den Unterschied zwischen Organisationen, die bereit waren, und solchen, die es nicht waren – mit einem Feature-Flag daran. Wer das einmal verstanden hat, sieht dieselbe Struktur in jedem KI-Dashboard wieder.
Eine unsichtbare Variable, die sich nicht wegregressieren lässt
Der Autor des Originalbeitrags arbeitet das an einem synthetischen Datensatz durch: 40.000 B2B-Konten, ein KI-Assistent, der nur ab 25 Sitzen verfügbar ist, freiwillige Aktivierung innerhalb dieser Gruppe. Im Hintergrund wirkt eine latente Variable, die er Engagement nennt – wie stark ein Konto in das Produkt investiert ist. Engagierte Konten schalten neue Funktionen häufiger ein und verlängern häufiger, unabhängig von jeder Funktion.
Der Analyst sieht dieses Engagement nie. Er sieht Sitze, Vertragsdauer, ob adoptiert wurde und ob sechs Monate später verlängert wurde. Der wahre Effekt in der Simulation beträgt vier Prozentpunkte Retention durch die Adoption. Der beobachtete Unterschied zwischen Adoptern und Nicht-Adoptern liegt bei rund 15 Punkten, der naive Vergleich liefert also 15,4 Punkte – gut elf davon sind Auswahl, nicht Wirkung.
Der übliche erste Reflex ist, den Vergleich auf berechtigte Konten zu beschränken. Das entfernt den mechanischen Größenunterschied, den die 25-Sitze-Schwelle erzeugt, und schrumpft die Lücke um etwa anderthalb Punkte. Es bleiben fast zehn Punkte Überschuss. Die Auswahl passiert eben nicht an der Berechtigungsgrenze, sondern innerhalb der berechtigten Gruppe, in dem Moment, in dem ein Administrator den Schalter umlegt.
Der zweite Reflex ist die Regression auf alles, was messbar ist: Größe, Vertragsdauer, Nutzung vor dem Start. Das Ergebnis sind 13,8 Punkte, mit einem engen Konfidenzintervall. Präzise und falsch – und die Präzision ist der gefährliche Teil, weil ein Standardfehler von 0,7 Punkten nach Sorgfalt aussieht. Es ist Sorgfalt bei der falschen Größe.
Der eigentliche Fallstrick liegt in Stellvertretern, die zu gut sind. Manche Teams kontrollieren zusätzlich die Nutzung nach dem Start, weil engagierte Konten das Produkt stärker nutzen. Diese Nutzung liegt aber hinter der Funktion, nicht davor. Wer sie ins Modell aufnimmt, rechnet einen Teil des Effekts heraus, den er messen will. Jede Kovariate muss deshalb vor der Einführung gemessen worden sein.
Die 25-Sitze-Grenze als Hebel, den kein Kunde gewählt hat
Hier kommt die eine Sache ins Spiel, die die Folie ignoriert hat. Die Funktion ist bei 25 Sitzen gesperrt. Ein Konto mit 24 Sitzen kann sie nicht einschalten, eines mit 25 kann. Sonst unterscheiden sich diese Konten nicht systematisch: gleiche Kundenschicht, ähnliche Administration, ähnliche Verteilung der Reife. Die Grenze ist willkürlich – und willkürlich ist genau das, was man braucht, weil sie der einzige Teil des Rollouts ist, den kein Kunde gewählt hat.
Die Schlussfolgerung des Autors passt in einen Satz: Modelliere die Entscheidung der Kunden nicht noch härter, sondern finde Variationen, die die Kunden nicht gewählt haben. Die Auswertung wird damit zu einer unscharfen Regression Discontinuity an der 25-Sitze-Schwelle, technisch ein Instrumentalvariablen-Problem. Die Berechtigung ist das Instrument, die Adoption ist die Behandlung, und nahe der Schwelle darf man Konten beiderseits der Linie als lokal vergleichbar behandeln.
Konkret passiert Folgendes: An der Schwelle springt die Adoption von null auf 37 Prozent. Die Retention springt um 1,8 Punkte. Teilt man das eine durch das andere, ergibt sich ein Effekt der Adoption von 4,9 Punkten, mit einem 95-Prozent-Intervall von −2,4 bis +12,1. Die Wahrheit liegt bei vier. Ein Treffer – mit einer ehrlichen Fehlermarge, die die naive Zahl nie hatte.
Aus dieser Schätzung kommen zwei Größen, die zwei verschiedene Fragen beantworten. Der reduzierte Effekt von 1,8 Punkten sagt: Wenn wir den Zugang an dieser Grenze anbieten, wobei nur etwa 37 Prozent zugreifen, was passiert dann mit der Retention? Der zweistufig geschätzte Effekt von 4,9 Punkten sagt: Was hat das Adoptieren denen gebracht, die nur wegen der Berechtigung adoptiert haben? Wer eine Berechtigungsregel ändern will, braucht die erste Zeile. Wer den Wert der Funktion für einen Nutzer belegen will, braucht die zweite.
Was Diagnostik aus einer Zahl erst zu einem Argument macht
Eine Schätzung ohne Diagnostik ist eine Zahl. Mit Diagnostik wird sie ein Argument. Die wichtigste Prüfung ist die Bandbreite, also die Frage, wie viele Sitze links und rechts der Schwelle einbezogen werden. Eng ist glaubwürdiger und verrauschter, weit ist präziser und fängt Krümmungen ein, die die lineare Anpassung nicht mehr trägt.
Im Datensatz des Autors sieht das so aus: Bei plus/minus fünf Sitzen ist die Schätzung praktisch null, mit einem Intervall von etwa zehn Punkten in jede Richtung. Bei plus/minus zehn und plus/minus fünfzehn Sitzen liegt sie stabil bei knapp fünf Punkten, bei plus/minus zwanzig bei 5,7 Punkten mit einem Intervall von 0,5 bis 10,8. Der erste Wert ist kein Beweis für keinen Effekt, sondern der Beweis, dass zu wenige Konten nahe der Schwelle liegen.
Weite Intervalle sind kein Mangel der Methode, sondern ihre Botschaft. Ein Effekt von vier Punkten, verdünnt durch eine Erststufe von 37 Prozent, wird zu einem Sprung von 1,5 Punkten im Rohmaß. Um so einen Sprung zu finden, braucht man sehr viele Konten direkt an der Grenze. Die naive Zahl hatte einen halben Punkt Standardfehler, weil sie etwas Einfaches gemessen hat; die Regression Discontinuity hat vier Punkte Standardfehler, weil die identifizierende Variation dünn ist. Das ist der Preis dafür, dass man die Variation wegwirft, die durch Kundenwahl entstanden ist.
Was das für KI-Technologie im Unternehmen bedeutet
Die Frage, was KI eigentlich ist, wird in vielen Häusern beantwortet, bevor eine zweite Frage gestellt wird: Woran erkennen wir, dass sie wirkt? Genau dort entsteht der Schaden. KI-Technologie lässt sich leicht ausrollen und schwer bewerten, weil sie fast immer freiwillig genutzt wird. Ein Modell, ein Assistent, ein Vorschlagssystem – die Adoption entscheidet der Nutzer, und damit wandert die Reife der Organisation mitten in die Erfolgsmessung.
Die praktische Konsequenz ist kein Statistikstudium, sondern eine Haltung. Erstens: Prüfe bei jeder KI-Anwendung, wer sie überhaupt einschaltet, bevor du über ihre Wirkung sprichst. Zweitens: Suche nach Regeln, Schwellen, Stichtagen, Pflichtfreischaltungen – nach allem, was Kunden nicht selbst entschieden haben. Solche Regeln wirken in der Regel langweilig, und langweilig ist hier ein Qualitätsmerkmal.
Drittens: Trenne die Fragen sauber. Die Zahl für das Produktteam ist nicht die Zahl für die Finanzabteilung, und keine von beiden ist automatisch die Zahl für die Entscheidung, die gerade auf dem Tisch liegt. Viertens: Schreib die Annahme dazu, auf der die Zahl beruht. Eine Folie, die sagt, welche Frage sie beantwortet und welche nicht, ist ehrlicher als jede Methode, die den Zweifel wegdiskutiert.
Das spricht nicht gegen KI im Unternehmen. Es spricht dafür, sie mit derselben Nüchternheit zu messen, mit der man sie einführt. Wer KI erklären will, kommt an diesem Punkt nicht vorbei: Die Technik ist der einfache Teil, die Frage nach dem Vergleichsmaßstab der schwierige.
Wer bis hierher gelesen hat, nimmt eine Fußnote mit in die nächste Sitzung: nicht „Der KI-Assistent verbessert die Retention um 15 Punkte“, sondern: Adopter halten 15 Punkte besser, und der größte Teil davon ist Auswahl; an der Berechtigungsgrenze bleibt ein Effekt von wenigen Punkten, mit ehrlicher Unsicherheit. Die zweite Aussage ist weniger beeindruckend und mehr wert – für die Roadmap, für die Produktzukunft und für jeden, der später auf diese Entscheidung zurückschaut.
Quelle: towardsdatascience.com
