Wenn KI-generierte Daten zur morgigen Ground Truth werden

Serverraum mit langen Reihen von Racks, Glasfaserverkabelung und kuehlen blauen Kontrollleuchten
Deine Reaktion:

In vielen Enterprise-Systemen gilt die Annahme: Sobald ein Datensatz gespeichert, geprüft und weiterverarbeitet wurde, lasse sich die daraus abgeleitete Entscheidung zuverlässig korrigieren. Der Artikel zeigt anhand der Lieferantenqualifizierung das Gegenteil. Ein KI-Agent kann einen Befund erzeugen, der zunächst korrekt wirkt, später aber widerlegt wird, während andere Systeme auf seiner Grundlage bereits weiterarbeiten. Das Problem ist damit nicht die einzelne Fehlentscheidung, sondern der Verlust der Abhängigkeiten zwischen einem Befund und den daraus entstandenen Entscheidungen.

Wenn der Lieferantenzertifikat-Befund eines KI-Agenten zurückgezogen wird, bleibt der Datensatz zwar korrigierbar. Die Freigabe, der Bericht und das Dashboard, die auf dem alten Befund beruhen, können jedoch weiterhin aktiv sein. Entscheidungs-Lineage schließt diese Lücke. Sie verbindet Evidenz, Aussage, Freigabe, abhängige Entscheidungen und abgeleitete Artefakte zu einer nachvollziehbaren Kette. Das klingt technisch, hat aber eine einfache organisatorische Bedeutung: Ein korrigierter Befund muss auch alle Entscheidungen zurückholen können, die auf ihm beruhen.

Der Fehler beginnt nicht beim falschen Befund

Der beschriebene Fehler beginnt nicht in dem Moment, in dem der KI-Agent ein Zertifikat falsch auslegt. Fehlerhafte Ausgaben sind in Geschäftsworkflows unvermeidbar, solange Modelle auf unsicheren oder unvollständigen Daten arbeiten. Problematisch wird der Fehler, sobald daraus eine scheinbar gesicherte Tatsache entsteht und andere Systeme diese Tatsache ungeprüft übernehmen.

Ein Hersteller prüft einen neuen Lieferanten, bevor er ihm Teile für ein reguliertes Produkt zuweist. Zu den Belegen gehören Qualitätszertifikate, Prüfberichte, Versicherungsnachweise und regulatorische Freigaben. Ein KI-Agent untersucht diese Unterlagen und schlägt einen Befund vor. Die Qualifizierung entscheidet anschließend, ob dieser Vorschlag für eine bestimmte Nutzung ausreicht.

Im Beispiel hält der Agent ein verpflichtendes Qualitätszertifikat für gültig, obwohl es nicht für das konkret beschaffte Teil gilt. Der Workflow übernimmt den Befund, der Lieferant wird als konform erfasst und eine Einkaufsentscheidung vorbereitet. Später korrigiert ein Mensch den Lieferantendatensatz. Das Dashboard zeigt den Lieferanten trotzdem weiterhin als freigegeben, der Programmbestand wiederholt die Compliance, und die bestehende Beschaffungsentscheidung bleibt wirksam.

Hier liegt der entscheidende Unterschied zwischen Datenkonsistenz und Entscheidungskonsistenz. Ein Quellsystem kann vollständig korrigiert sein, während abhängige Workflows, Berichte und Freigaben weiterhin mit dem alten Zustand arbeiten. Die Korrektur des Wertes hat nicht automatisch dessen Einfluss zurückgenommen.

Warum eine Korrektur nicht automatisch alle Folgen erreicht

Das Problem ähnelt zunächst einem klassischen Problem verteilter Systeme. Berichte, Suchindizes, Caches und Workflow-Zustände können nach einer Änderung veraltete Werte enthalten. Eine abgestimmte Datenbasis allein genügt deshalb nicht, wenn Entscheidungen auf mehreren Ebenen auf den Daten aufbauen.

KI-Agenten verschärfen diese Situation, weil sie nicht nur einzelne Felder verändern, sondern Schlussfolgerungen formulieren. Eine Aussage wie „Zertifikat gültig“ kann aus mehreren Dokumenten stammen, in Berichten anders formuliert und später als scheinbar eigenständiger Beleg behandelt werden. Das verhält sich wie eine Karte, die zunächst von einem Vermessungsteam erstellt wird und anschließend in mehreren Abteilungen als unterschiedliche Originalkarte weitergegeben wird.

Die Formulierung bleibt erkennbar, ihre Herkunft geht jedoch verloren. Im Lieferantendatensatz wirkt der KI-Befund schnell wie ein geprüfter Fakt. Im Dashboard wird daraus ein Status. Im Programmbestand wird daraus ein Satz. In einem Suchindex wird der Satz in Passagen zerlegt, die später einzeln abgerufen werden können. Die technische Umgebung bewahrt dabei meist den Wert, aber nicht mehr die Bedingungen und die Verantwortlichkeit, unter denen er entstanden ist.

Eine Reconciliation kann prüfen, ob gespeicherte Werte übereinstimmen. Sie kann jedoch nicht zuverlässig erkennen, dass zwei unterschiedlich formulierte Datensätze auf dieselbe ursprüngliche KI-Aussage zurückgehen. Ebenso findet sie nicht automatisch jene Entscheidungen, die bereits auf dieser Aussage beruhen. Hier greift der Unterschied zwischen Herkunft und Autorität: Ein Agent darf einen Vorschlag erzeugen, ohne dadurch eine geschäftliche Tatsache oder Freigabe zu schaffen.

Mehrfache Erzeugung ist keine unabhängige Bestätigung

Wenn ein Befund akzeptiert wird, beginnt seine Verbreitung. Das Lieferantenmanagement, der Beschaffungsprozess, das Readiness-Dashboard und der Programmbestand geben den Status jeweils in eigener Form wieder. Ein späterer Agent kann Lieferantendatensatz und Programmbestand als zwei getrennte Dokumente abrufen und daraus scheinbar zwei Belege für dieselbe Aussage ableiten.

Tatsächlich handelt es sich um eine Kette. Der eine Datensatz enthält die Prüfung, der andere das bestandene Kontrollergebnis und der dritte die Freigabe. Alle drei stammen aus derselben ursprünglichen Bewertung. Diese Form der Wiederholung lässt sich mit einem einheitlichen Bild beschreiben: Ein Signal wird einmal ausgesendet und von mehreren Antennen empfangen. Mehr Empfänger bedeuten nicht mehr Information und schon gar keine unabhängige Bestätigung.

Auch die Qualität eines stärkeren Modells löst dieses Problem nicht zuverlässig. Sind die Kopien für sich genommen relevant, kann ein Ranking sie weiterhin als passende Belege einordnen. Die Anweisung, nach unabhängigen Quellen zu suchen, hilft wenig, wenn die Herkunft bereits vorher aus den Dokumenten entfernt wurde. Agenten-Speicher verschärft die Situation: Ein Agent kann später seinen eigenen Befund abrufen und ihn zitieren, ohne dass der abgerufene Text dies kenntlich macht. In Multi-Agent-Systemen kann eine Zusammenfassung des ersten Agenten zum Kontext des zweiten und eine vermeintlich unabhängige Prüfung des dritten werden.

Dieses Muster beschränkt sich nicht auf die Produktion. Im Bankenwesen kann eine Betrugsklassifikation in einem Fallprotokoll landen. In der Telekommunikation kann eine Risikobewertung in einen Managementbericht eingehen. In einem Support- oder Incident-Prozess wird eine Diagnose Teil einer Wissensbasis. Überall verliert die Schlussfolgerung mit jeder Weitergabe Kontext, während ihr Einfluss zunimmt.

Entscheidungs-Lineage verbindet Evidenz, Autorität und Folgen

Für Herkunft und Verantwortung existieren bereits etablierte Mechanismen. W3C PROV modelliert Entitäten, Aktivitäten und Agenten bei der Erzeugung von Daten. OpenLineage standardisiert Metadaten zu Datensätzen, Jobs und Ausführungen. Event Sourcing protokolliert Zustandsänderungen als Folge von Ereignissen. Diese Werkzeuge lösen nicht jede Frage, decken aber wichtige Grundlagen ab.

Die Schwäche liegt häufig in der Reichweite. Lineage-Systeme enden oft an Dataset- oder Job-Grenzen und reichen selten bis zur Entscheidungsdokumentation oder zur Retrieval-Schicht, die den Kontext eines Agenten zusammenstellt. Nach dem Beispiel aus der Lieferantenqualifizierung bleibt deshalb die entscheidende Frage unbeantwortet: Welche nachgelagerten Entscheidungen hängen noch am korrigierten Befund?

Entscheidungs-Lineage ergänzt diese Mechanismen um eine geschäftliche Abhängigkeitskette. Sie verknüpft die Quellenevidenz, die generierte Aussage, die für einen bestimmten Zweck erteilte Autorität und die Entscheidungen, die sich auf die Aussage stützen. Daten-Lineage beschreibt, wohin eine Aussage gelangt ist. Entscheidungs-Lineage beschreibt, was die Organisation aufgrund dieser Aussage getan hat.

Für den Lieferantenfall reicht eine überschaubare Kette: Zertifikat und Prüfbericht führen zum Befund des Agenten, dieser zum akzeptierten Lieferantendatensatz und schließlich zur Beschaffungsentscheidung. Dashboard, Bericht und Suchindex werden als abgeleitete Artefakte derselben Kette ausgewiesen. Wird das Zertifikat später als ungültig markiert, kann das System die betroffene Beschaffungsentscheidung identifizieren und alle Artefakte sowie KI-Ausgaben finden, die den alten Befund geerbt haben.

Ein kleines Muster für den produktiven Einsatz

Ein sinnvoller technischer Einstieg liegt an der Schnittstelle zwischen Agent und führendem Geschäftssystem. Der Agent speichert seinen Befund zunächst als Vorschlag und bindet ihn an die verwendete Evidenz. Ein deterministischer Workflow, der fachlich verantwortlich ist, entscheidet dann, ob der Vorschlag für einen klar definierten Zweck ausreichend ist.

Kann eine erforderliche Prüfung nicht ausgeführt werden, bleibt der Befund ein Vorschlag. Er wird nicht stillschweigend zu einer akzeptierten Tatsache. Diese Trennung verhindert eine direkte Fehlbeförderung. Sie genügt jedoch noch nicht, wenn anschließend ein Workflow eine Entscheidung auf den akzeptierten Befund stützt. Auch diese Entscheidung braucht einen stabilen Verweis auf den Befund und auf die Version der zugrunde liegenden Evidenz.

Ein kompletter Graph aller Agenteninteraktionen wäre dafür nicht erforderlich. Für eine folgenreiche Entscheidung reicht es, wenn die Abhängigkeit auch nach Abschluss des Workflows rekonstruierbar bleibt. Ein kleiner Abhängigkeitsdatensatz kann den Befund, seinen Status, die betroffenen Entscheidungen und die daraus abgeleiteten Artefakte enthalten. Wird der Befund zurückgezogen, markiert das System die abhängigen Einträge zur Prüfung und filtert den Befund aus aktuellen Evidenzquellen.

Auch die Retrieval-Schicht muss diese Herkunft berücksichtigen. Lieferantendatensatz und Programmbestand sollten nicht als unabhängige Belege erscheinen, wenn sie auf dieselbe Ursprungsassertion zurückgehen. Bei einem zurückgezogenen Befund können beide Kopien ausgeschlossen oder eindeutig markiert werden, bevor sie einen Agenten erreichen. So wird verhindert, dass ein Fehler durch seine eigene Verbreitung wieder als bestätigt wirkt.

Recovery endet erst bei den tatsächlichen Folgen

Eine belastbare Wiederherstellung umfasst deshalb mehr als die Aktualisierung eines Lieferantendatensatzes. Das System muss betroffene Suchergebnisse bereinigen, Vektorindizes aktualisieren, Berichte neu erzeugen, Dashboards neu berechnen und noch offene Workflows stoppen oder zur Prüfung stellen. Bereits wirksam gewordene Entscheidungen müssen zu ihren Verantwortlichen zurückkehren.

Die Software kann dabei die technische Reichweite eines Fehlers bestimmen. Die fachliche Entscheidung über eine bestehende Beschaffung, eine Zahlung oder eine regulatorisch relevante Freigabe sollte jedoch nicht automatisch ohne menschliche Freigabe zurückgenommen werden. Diese Trennung entspricht dem Unterschied zwischen einem fehlerhaften Datensatz und einer geschäftlichen Handlung, für die eine Person verantwortlich zeichnet.

Der Aufwand lohnt sich nicht für jede KI-Ausgabe. Eine unbeständige Antwort, die weder gespeichert noch weiterverwendet wird und jederzeit neu erzeugt werden kann, kommt mit gewöhnlichem Logging aus. Entscheidungs-Lineage wird relevant, sobald ein generierter Befund eine Freigabe, Zahlung, Sicherheits- oder Compliance-Entscheidung, einen laufenden Workflow oder eine spätere maschinelle Entscheidung beeinflusst. Genau dort kann die Feststellung eines Fehlers zu spät kommen, wenn das System nur den Ausgangsdatensatz korrigiert, nicht aber seine bereits entfaltete Wirkung.

Die praktische Konsequenz ist nüchtern. KI-generierte Daten dürfen nicht allein deshalb als Ground Truth behandelt werden, weil sie in einem anerkannten Geschäftsprozess gespeichert wurden. Ground Truth beschreibt in diesem Kontext einen autorisierten, nachvollziehbaren und versionierten Befund, nicht bloß den nächsten verfügbaren Datensatz. Organisationen müssen deshalb entscheiden, welche agentischen Aussagen überhaupt dauerhaft verwahrt, welche Verwendungen sie autorisieren und wie deren Einfluss bei Korrekturen zurückverfolgt wird.

Der zentrale Gedanke des Artikels bleibt: Datenkonsistenz ist nicht dasselbe wie Verantwortungskonsistenz. Eine Korrektur ist erst abgeschlossen, wenn kein aktueller Workflow, Bericht, Index oder Agent mehr auf der widerlegten Grundlage handelt. Für die Lieferantenqualifizierung mit KI bedeutet das mehr als bessere Dokumentenprüfung. Es bedeutet eine Architektur, in der Vorschlag, Freigabe, Entscheidung und Korrektur voneinander getrennt bleiben, ohne dass ihre Abhängigkeiten verloren gehen.

Quelle: oreilly.com

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 70
Relevanz 83
Hype 28
Einschätzung 82
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.