Du siehst eine Anzeige für ein Küchenmesser. Du hast Kochvideos angeschaut, aber nie nach Messern gesucht. Trotzdem erscheint die Anzeige und wirkt interessant. Das liegt an Hierarchical Interest Representation (HIR), einer Technik von Meta. Sie verbindet versteckte Nutzerinteressen mit Werbeangeboten in einer hierarchischen Landkarte. Ziel ist der Deep Funnel, die Phase kurz vor einer Conversion.
Der Deep Funnel ist schwierig, weil Signale spärlich sind. Ein Klick sagt wenig über Kaufabsicht aus. Ein Kauf ist ein seltenes Ereignis. Meta muss aus wenigen, verrauschten Daten lernen. Bisherige Systeme erkennen oft nur oberflächliche Muster. HIR löst das mit Graphen-Lernen, Transformer-Architekturen und Weltwissen.
Das Kernproblem: Graphen mit dünnen Verbindungen
Als Nutzer bist du ein Knoten in einem riesigen Graphen. Andere Knoten sind Werbetreibende, Produkte, Kampagnen, Anzeigen. Die Kanten sind deine Interaktionen: Like, Klick, Kauf. Der Graph hat Milliarden Knoten und noch mehr Kanten. Die meisten Verbindungen sind schwach. Du klickst auf eine Anzeige, kaufst aber nichts. Oder du kaufst einmal. Das erschwert das Erkennen stabiler Muster.
Interessen sind dynamisch. Was heute interessiert, kann morgen anders sein. Werbetreibende ändern ständig ihre Angebote. Ein Modell muss mit Spärlichkeit und Veränderung umgehen. Die hierarchische Repräsentation gruppiert ähnliche Entitäten in übergeordnete Interessen-Primitive – stabile Ankerpunkte. Statt zu lernen, dass Nutzer A auf Produkt B klickte, lernt das System: A interessiert sich für Küchenutensilien. Das ist robuster.
Die Lösung: Ein hierarchischer Encoder
Meta nutzt eine Transformer-basierte Architektur für den Graphen. Ein speziell trainierter Encoder analysiert Knoten und Kanten, nicht Sätze. Der Encoder hat mehrere Komponenten:
- Anreicherung mit Weltwissen: Produkte und Werbetreibende werden durch Metadaten beschrieben. Meta nutzt LLMs, um Text, Bilder und Videos von Produktseiten zu analysieren. So weiß das Modell, was ein Küchenmesser ist, selbst ohne Klick-Daten. Das hilft bei neuen Anzeigen.
- Strukturelle Encoder: Der Encoder erfasst die Position der Knoten im Graphen. Mit zufälligen Läufen und wichtigkeitssortierten Strategien wird die lokale Topologie abgebildet. Kanten haben Gewichte und Zeitstempel – eine aktuelle Interaktion zählt mehr als eine alte.
- Bias Composition Attention: Transformer nutzen paarweise Beziehungen zwischen Tokens. Hier werden Graphenstrukturen als Aufmerksamkeits-Bias eingebaut. Das Modell erkennt, ob zwei Knoten direkt verbunden sind oder nur über Umwege. Das verhindert Over-Smoothing bei klassischen Methoden.
Die Attention wird mit FlexAttention berechnet. Dieser Kernel materialisiert die Bias-Matrix nicht, sondern berechnet sie on the fly. Das spart Speicher und erlaubt variable Teilgraphen ohne Padding. So trainiert Meta den Encoder auf Milliarden Knoten.
Training durch Selbstüberwachung
Das System lernt ohne gelabelte Daten durch Cross-View Distillation. Ein Lehrer und ein Schüler sehen denselben Knoten. Der Lehrer bekommt eine weite Perspektive (viele Nachbarn), der Schüler eine enge. Der Schüler sagt vorher, welcher Interessen-Cluster aus der weiten Perspektive entsteht. Das zwingt das Modell, allgemeine Muster zu lernen. Es ist selbstüberwacht – keine manuellen Annotationen nötig.
Es entstehen universelle Embeddings für alle Entitäten: Nutzer, Anzeigen, Werbetreibende, Produkte. Sie liegen in einem gemeinsamen metrischen Raum. Das beantwortet Fragen wie: Welche Interessen-Primitive ähneln sich? Wie nah ist dieser Nutzer dieser Produktkategorie? Welche Anzeige passt zu einer Zielgruppe? Das ist die Basis für Personalisierung, Retrieval und Ranking.
Was bedeutet das für Meta und die Nutzer?
Meta sagt, HIR verbessert die Deep-Funnel-Optimierung – die Wahrscheinlichkeit einer Conversion. Konkret soll Werbung relevanter werden, besonders für Nutzer mit schwachen Signalen. Du könntest weniger irrelevante Anzeigen sehen. Werbetreibende erreichen eher die richtigen Personen, auch ohne vorherige Interaktion.
Das ist noch Forschung. Meta nennt es eine neue Forschungsrichtung. Wann es produktiv wird, ist offen. Die Richtung ist klar: Meta will das unsichtbare Interessennetz verstehen, das dich mit Produkten verbindet – nicht nur oberflächliche Klicks.
Ob man will, dass Meta die versteckten Interessen so genau kennt, ist eine persönliche Abwägung zwischen Bequemlichkeit und Privatsphäre. Technisch ist HIR ein Schritt, aus spärlichen Daten Bedeutung zu extrahieren.
Quelle: engineering.fb.com
