Die gängige Annahme in der Datenwelt lautet: erst sammeln, dann aufräumen. Daten werden in Seecontainer gekippt, später im Bronze-, Silber- und Gold-Verfahren gefiltert, bereinigt und angereichert. Doch wer zu spät annotiert, verliert den Kontext, den generative KI braucht. Organisationen sollten Daten bereits im Moment ihrer Entstehung mit Metadaten und Herkunftsinformationen versehen – sonst bleiben die teuer erkauften Daten für KI-Projekte wertlos.
Das Problem ist bekannt: Ein KI-Modell liefert mit hoher Konfidenz eine falsche Antwort, weil es auf veralteten oder nicht-kanonischen Daten trainiert wurde. Die Ursache liegt oft nicht im Modell, sondern darin, dass der ursprüngliche Zustand der Daten nicht dokumentiert wurde. Später den Kontext zu rekonstruieren, ist meist unmöglich – die Details sind unwiederbringlich verloren. Die Idee: Datenannotation als Teil des Sammelprozesses begreifen, nicht als nachgelagerte Pflicht.
Das Problem mit dem Putzen: Warum saubere Daten allein nicht reichen
Die klassische Datenarchitektur mit Bronze-, Silber- und Gold-Stufen verspricht eine schrittweise Verbesserung der Datenqualität. In Bronze liegen Rohdaten, in Silber werden sie validiert und angereichert, in Gold entsteht die produktive Sicht. Das klingt logisch, hat aber einen Haken: Die Reinigung entfernt nicht nur Müll, sondern auch wichtige Kontextinformationen. Ein Temperatursprung in einer IoT-Sensormessung könnte eine kritische Fehlfunktion bedeuten – oder eine routinemäßige Kalibrierung. Ohne die Information, welches Gerät gemessen hat und unter welchen Bedingungen, ist die Entscheidung später kaum zu treffen.
David Aronchick, Gründer von Kubeflow und CEO des Pipeline-Anbieters Expanso, formuliert es nüchtern: „Du kannst nicht ausschließlich saubere Daten verfolgen – das ist einfach nicht möglich. Wenn du Daten in dein ML-Modell ziehst, muss jede Zeile einen Mechanismus haben, der sagt, woher sie stammt. Sonst wirst du es nie wirklich wissen, weil du die Daten später nicht mehr trennen kannst.“ Er vergleicht das mit einer Küche: Wenn du die Zutaten sofort mischst und würzt, ohne zu notieren, woher sie kommen, kannst du das Rezept später nicht mehr nachvollziehen. Und du kannst auch nicht entscheiden, ob eine Abweichung gewollt war oder ein Fehler.
In-Stream-Labeling: Kontext dort erfassen, wo er entsteht
Die Lösung heißt In-Stream-Labeling – eine Methode, bei der Daten bereits während der Erfassung annotiert werden. Ulrik Hansen, Co-CEO von Encord, einer Plattform für Datenannotation, warnt davor, das als Ersatz für das Bereinigen zu verstehen. „Schmutzige Daten vereinen zwei Dinge: echte Korruption, die du beheben solltest, und Kontextabhängigkeit, bei der eine Messung nur anomal aussieht, weil der erklärende Rahmen weggeworfen wurde“, sagt er. „Das Bereinigen tötet beides. Es geht nicht darum, mit dem Putzen aufzuhören, sondern darum, Kontext nicht wegzunormalisieren, den du nie wieder zurückbekommst.“
Kontext kann an der Quelle billig erfasst werden – ein paar zusätzliche Felder, ein Zeitstempel, ein Geräte-Identifier. Danach wird es fast unmöglich, die fehlenden Informationen zu rekonstruieren. Hansen rät, nur das zu erfassen, was gratis und unwiederbringlich ist: „Das Ursprungssystem ist das Etikett. Du taggst nicht die HR-Policy, sondern du erfasst, dass sie aus dem HR-System stammt. Alles, was ein Modell später ableiten kann, kannst du weglassen.“ Das hält den Zusatzaufwand gering und verhindert Datenblähung.
Schema-Validierung als Sicherheitsnetz: Fehler früh abfangen
Neben der Annotation spielt die Validierung gegen ein Schema eine zentrale Rolle. Aronchick beschreibt, wie ein Sensor für Temperatur und Feuchtigkeit zusätzlich die Skala, die Einheit und das Zeitformat liefern muss. Wenn du diese Felder beim Ingest prüfst, kannst du abweichende Daten sofort aussortieren oder zur manuellen Prüfung weiterleiten. „Vielleicht lösche ich sie, oder ich schicke sie an einen Ort, wo ein Mensch oder ein anderes Tool sie in etwas Wertvolles rekonstruieren kann. Aber das Wichtige ist: Die verschmutzten Daten gelangen nicht in meine Pipeline.“
Änderungen an APIs, Schemas, Speicherformaten passieren in jeder Organisation. Diese Änderungen müssen in den Metadaten festgehalten werden, die mit den Daten reisen. Google hat in der Forschung zu „Data Cascades“ gezeigt, wie leicht Kontext verloren geht und wie stark das die Datenqualität beeinträchtigt. Wer die Schema-Prüfung weit nach links verschiebt, also direkt beim Sammeln, kann bessere Downstream-Entscheidungen treffen. Dann ist klar, ob ein Datensatz für ein bestimmtes Modell taugt oder nicht.
Vom Papier zum strukturierten Datensatz: Annotation bei unstrukturierten Daten
Unstrukturierte Daten wie PDFs, Word-Dokumente oder Bilder erfordern zusätzliche Anstrengung. Ein PDF hat Autor und Erstellungsdatum, aber nicht die Information, ob der Autor eine Führungsposition innehat, ob das Dokument noch aktuell ist oder nur für eine bestimmte Kundengruppe gilt. Diese Kontexte müssen als Metadaten ergänzt werden – und zwar direkt beim Erfassen, nicht in einer separaten Compliance-Tabelle. Datenplattformen wie DataHub oder SurrealDB helfen dabei.
SurrealDB-CEO Tobie Morgan Hitchcock erklärt, wie sein System ein Foto mit Vision-KI analysiert, um zu verstehen, was im Bild ist. „Aus völlig unstrukturierten Daten gewinnen wir so viel Struktur wie möglich.“ Das wird mit anderen Daten angereichert – etwa Gesprächsverlauf, Telemetrie, Standortdaten – um für einen späteren KI-Agenten ein genaues Verständnis des Ereignisses zu ermöglichen. „Je mehr Kontext du erfasst, desto besser kannst du später eine genaue Antwort geben“, sagt er.
Die Herkunft eines Dokuments spielt auch für die Vertrauenswürdigkeit eine Rolle. Wer hat es erstellt? Aus welcher Abteilung? Wie oft wird es aktualisiert? Das kann über das Firmenverzeichnis ermittelt werden. „Wenn ein Dokument von der Geschäftsleitung stammt, hat es mehr Autorität als ein Beitrag aus einem Forum“, erklärt Hitchcock. So lässt sich im Laufe der Zeit ein Verständnis von Vertrauen und Provenienz aufbauen – entscheidend für KI-Agenten, die auf Informationen vertrauen müssen.
Praktische Umsetzung: Anreize schaffen und DevOps-Prinzipien übertragen
Wie schafft man es, dass Menschen die Annotation nicht als lästige Pflicht sehen? Shirshanka Das, CTO von DataHub, hat das bei LinkedIn erlebt. Er half dort, die GDPR-Strategie umzusetzen, und stellte fest, dass selbst mit guten Schema-first-Praktiken der Data Lake zum Sumpf wurde. Die Lösung: Er integrierte die Metadaten-Erfassung in die CI/CD-Pipeline. Entwickler konnten kein Schema einchecken, ohne die Bedeutung jeder Spalte zu deklarieren. Anfangs unbeliebt – bis die Teams, die nicht mitmachten, mit Anfragen von Data Scientists überhäuft wurden. Der Anreiz war klar: Wer dokumentiert, spart sich später die Arbeit.
Megha Kumar, Research VP für Analytics und KI bei IDC, sieht die Realität jedoch skeptisch: „Die meisten Organisationen verarbeiten Daten in Batches, daher findet eine Echtzeit-Kontexterfassung selten statt. Selbst die, die Echtzeit verarbeiten, haben vordefinierte Schemas, und das Hinzufügen von Kontext erfordert Änderungen, die leider später passieren.“ DataHub Cloud versucht deshalb, den Kontext nachträglich zurückzugewinnen, indem es Abfragen und BI-Tools analysiert, um ein semantisches Modell abzuleiten. Das gibt den Teams einen Ausgangspunkt, den sie validieren und dann als Governance-Layer nutzen können.
Ein gelungenes Beispiel ist Miro: Der Online-Whiteboard-Anbieter verbesserte die Genauigkeit seiner KI-Agenten von etwa 50 % auf 90 %, indem er DataHub einführte und die abgeleiteten Metadaten mit einem menschlichen Genehmigungsprozess kombinierte – also GitOps-Prinzipien auf die Datenverwaltung übertrug. „Wenn ein Data Scientist zehnmal mehr Anfragen bekommt, weil er seine Arbeit nicht dokumentiert hat und die KI Fehler macht, dann hat er den Anreiz, die Annotation direkt bei der Erstellung hinzuzufügen“, sagt Das.
Datenherkunft für den EU AI Act und zukunftssichere KI
Der EU AI Act verlangt, dass Organisationen die Herkunft ihrer Trainingsdaten nachweisen können. Das geht nur, wenn Provenienz und Linie von Anfang an dokumentiert sind. Aronchick empfiehlt eine „Data Bill of Materials“ im Stil der SLSA-Spezifikation, die signierte Provenienz und Beglaubigungen hinzufügt. Mit Tools wie Makoto lässt sich festhalten, wer Daten gesammelt hat, wann, woher, ob die Quelle autoritativ war, welche Transformationen durchgeführt wurden und was genau das Modell gesehen hat. „Es geht nicht nur um Version und Metadaten“, erklärt er. „Es geht darum, zu wissen, dass diese Daten diese Schritte durchlaufen haben, dass dies die Wurzelquelle ist und welche anderen Elemente dabei waren.“
Diese Transparenz ist keine bürokratische Pflicht, sondern ein Qualitätssiegel für deine KI. Wenn du einem Modell vertrauen willst, musst du wissen, welche Daten es gefüttert hat. Eine saubere, aber kontextlose Datenbasis kann schnell zu falschen Entscheidungen führen – im schlimmsten Fall mit rechtlichen Konsequenzen. Wer dagegen beim Sammeln annotiert, spart später Zeit, Geld und Nerven. Gartner schätzt, dass 60 % der KI-Projekte an schlechtem Metadatenmanagement, Datenqualität und fehlender Datenobservability scheitern. Das lässt sich vermeiden, wenn man den Kontext nicht wegwirft.
Die Perspektive muss sich verschieben: nicht Daten erst sauber machen und dann anreichern, sondern Daten von Anfang an mit Kontext versehen. Das erfordert etwas mehr Aufwand an der Quelle, zahlt sich aber später durch weniger Fehlentscheidungen und schnellere Abläufe aus. Für Entwickler, Data Scientists oder KI-Verantwortliche bedeutet das: Schau nicht nur auf das „Gold“ am Ende der Pipeline. Achte darauf, dass jede Zeile, die hereinkommt, ihre Geschichte mit sich trägt. Dann wird deine KI nicht nur smarter, sondern auch vertrauenswürdiger.
Quelle: cio.com
