rd-signal-2 durchsucht Produktions-Traces von Agenten, schreibt eigenen Code zur Kontextextraktion und trainiert daraus binäre Klassifikatoren. Es erreicht fast die Genauigkeit von GPT-5.6 Sol xhigh, kostet aber 1600-mal weniger als das teure Frontier-Modell und 260-mal weniger als die günstigere Variante. Raindrop gibt Signals 2.0 heute für alle Kunden frei.
Entwickler und Team-Leads können jetzt präzise entscheiden, ob ein Agentenverhalten gut oder schlecht ist, ohne jedes Trace durch ein großes Sprachmodell zu jagen. Raindrop nennt das binäre Klassifikation. Scheinbar einfach, in der Praxis alles andere als trivial.
Warum binäre Klassifikation so schwer ist
OpenAI veröffentlichte letztes Jahr einen Aufsatz, der Halluzination als binäres Klassifikationsproblem beschreibt: Jede Aussage ist wahr oder falsch. Die Schlagzeilen jubelten, doch die Realität ist komplexer. Auch im echten Leben ist fast alles binär: heiraten oder nicht, gute oder schlechte UI, akzeptables Agentenverhalten oder nicht. Nur: Diese Entscheidung ist nicht einfach.
Hinter jedem „gut“ oder „schlecht“ steht eine Definition, die Menschen gemeinsam festlegen müssen. Was ist ein Fehler? Zählt ein Timeout als Misserfolg? Was, wenn der Agent nach drei Fehlversuchen erfolgreich ist? Binäre Klassifikation ist ein Alignment-Problem: Menschen im Unternehmen auf eine gemeinsame Definition bringen, Randfälle durchspielen, dann ein Modell trainieren, das dieser Definition treu bleibt.
Raindrop deckt diesen Weg ab, vom ersten Prompt bis zum kontinuierlich überwachten Klassifikator. Bisher gingen die meisten Lösungen davon aus, dass ein einzelnes Input-Output-Paar ein Verhalten bewertet. Das funktionierte im Chatbot-Zeitalter. Agenten heute scheitern über mehrere Schritte, rufen Tools auf, starten Sub-Agenten und produzieren Traces mit Hunderttausenden von Tokens.
So funktioniert rd-signal-2
Ein typisches Szenario: Ein Agent versucht, einen Datensatz zu aktualisieren. Drei Mal ruft er dieselbe Funktion auf, jedes Mal gibt es einen Timeout. Am Ende antwortet er: „Der Datensatz wurde erfolgreich aktualisiert.“ Ein klassischer Fehler, aber er liegt nicht in einem einzelnen Schritt, sondern in der Beziehung zwischen den wiederholten Tool-Fehlern und der finalen Antwort. Solche Muster erkennt rd-signal-2.
Der Prozess ist eine automatisierte Forschungsschleife. Für jedes Verhalten analysiert das System Produktions-Traces, schreibt Code, der den Kontext zusammensetzt – Tool-Calls, Argumente, Status – und prüft, ob die Bedingungen erfüllt sind. Wenn nicht, gibt der Signal ohne Modellaufruf ein „kein Match“ zurück. Wenn doch, extrahiert er die fehlgeschlagenen Versuche und die finale Antwort. Die semantische Bewertung übernimmt ein spezialisierter Klassifikationskopf mit einem hauseigenen Reasoning-Modell, das auf binäre Entscheidungen optimiert ist.
Signals sind nicht auf einen einzelnen Turn beschränkt. Sie sammeln Kontext aus Sitzungen, die Tage oder Wochen dauern. Agentenprobleme sind oft subtil und spärlich verteilt – ein einzelner Fehler in einem Meer erfolgreicher Aktionen.
Die Kostenfrage: Reasoning zur Buildzeit
Traditionelle LLM-Judges jagen für jede Bewertung dieselben Beweise durch das Modell und fällen leicht unterschiedliche Urteile. Das kostet Zeit und Geld. rd-signal-2 verlagert das Reasoning in den Build-Prozess: Einmalig wird ein Klassifikator erstellt, der dann sehr günstig auf Millionen von Traces angewendet werden kann.
Das System iteriert bei der Entwicklung und wendet strenge Selbstverifikation an. Mehrere Ansätze werden ausprobiert, bevor einer passt. Modellaufrufe skalieren mit der Unsicherheit, nicht mit dem Traffic. Signals sind so günstig, dass Raindrop sie in die Plattform integriert hat und über Milliarden von Traces pro Monat ausführt. Kunden von Plattformen wie Braintrust oder Langchain zahlen dagegen für jede Inferenz aus eigener Tasche.
Diese Architektur ist der Grund, warum Kunden keine zusätzlichen Gebühren für Signals 2.0 zahlen. Sie sind im Produkt enthalten. Auch bei hohen Volumen bleibt die Klassifikation schnell und wirtschaftlich.
Alignment als Produktproblem
Die größte Herausforderung ist nicht das Modell, sondern das Verständnis dessen, was der Nutzer meint. Raindrop nennt das ein Produktproblem, nicht nur ein ML-Problem. Zurück zu den wiederholten Tool-Calls: Soll der Signal matchen, wenn sich die Argumente leicht ändern, die Strategie aber gleich bleibt? Was, wenn die ersten drei Versuche scheitern, der vierte aber gelingt? Oder wenn der Agent aufgibt und ein Sub-Agent es erfolgreich abschließt?
Ein Experiment aus dem Artikel zeigt, wie schwer diese Grenze zu finden ist: Vier Varianten eines Satzes als Verhaltensbeschreibung wurden über dieselben 2.000 Produktions-Traces ausgeführt. Die Match-Raten schwankten zwischen 0,9 % und 4,6 %. 67 % der gematchen Traces waren bei mindestens einer Variante umstritten. Selbst erfahrene Entwickler sind sich oft nicht einig, wo die Linie verläuft.
Raindrop setzt auf einen kontinuierlichen Verbesserungsprozess. Ein Signal ist nie fertig. Modelle, Harnesses und Trace-Formen ändern sich; Kunden entdecken Spezifikationsfehler, sobald sie den Signal auf mehr Daten anwenden. Nach der Bereitstellung werden täglich Stichproben mit Frontier-Modellen ausgewertet. Bei Drift oder Regressionen startet die Prompt-Optimierung neu. So bleibt der Signal über lange Zeit aligned.
Sicherheit und Skalierung
10.000 Traces bewerten ist einfach. Mehr als zwei Millionen pro Tag erfordern sorgfältiges Modell-Serving, Queueing, Retries und Isolation. Raindrop behandelt jeden Signal standardmäßig als nicht vertrauenswürdig. Jeder Kunden-Signal läuft in isolierter Umgebung ohne Zugriff auf Credentials oder Internet-Egress. Die Runtime einer Organisation kann nur auf ihre eigenen Daten zugreifen.
Caching ist ein weiteres Schlüsselelement: Trace-Kontext wird einmal abgerufen und nahe an den Evaluierungsworkern gespeichert. Mehrere Signals können dieselben Daten wiederverwenden, ohne teure Abfragen zu wiederholen. Der heiße Pfad bleibt auf deterministische Ausführung beschränkt; nur kleine Fälle benötigen Modell-Urteilsvermögen. Die Median-Latenz für eine Klassifikation liegt bei 100 Millisekunden. Die Infrastruktur bewertet über 20 Milliarden Traces pro Monat.
Diese Zahlen sind beeindruckend, aber sie folgen einem Prinzip: Nicht für jede Operation ein Frontier-Modell bezahlen. Die meiste Arbeit deterministisch erledigen, nur bei Unsicherheit ein Modell einsetzen. Genau das macht rd-signal-2.
Signals 2.0 in Raindrop und darüber hinaus
rd-signal-2 ist die Basis für nutzerdefinierte Klassifikatoren in Raindrop. Das hauseigene Issue-Detection-System nutzt dieselbe Architektur, um Fehlermuster in Kundendaten zu identifizieren, zu verfolgen und zu überwachen. Ein erkannter Issue lässt sich sofort in einen dauerhaften Signal verwandeln, die Richtlinie verfeinern, A/B-Tests durchführen. Signals lassen sich manuell erstellen, über den Triage-Agenten, den Coding-Agenten per MCP oder direkt aus dem Issue-Detection-System.
Für Teams mit strengen Datenschutzanforderungen gibt es ZDR Signals – Zero Data Retention. Klassifikatoren lassen sich trainieren und ausführen, ohne Produktionsdaten zu speichern. Das öffnet Branchen wie das Gesundheitswesen, wo Datenhaltung besonderen Regeln unterliegt.
Signals 2.0 bleibt nicht auf Raindrop beschränkt. Die neue API erlaubt Entwicklern, domain-spezifische Erkennung in eigene Systeme zu integrieren. Die Infrastruktur hinter den 20 Milliarden Traces wird für jeden nutzbar, ohne den Umweg über die Raindrop-Oberfläche. Ein Schritt in Richtung einer offenen Klassifikationsplattform für Agentenverhalten.
Was bedeutet das konkret? Präzise und kostengünstig bewerten, ob der Agent das tut, was er tun soll – in Echtzeit, über lange Sitzungen hinweg und mit klarer Nachvollziehbarkeit. Die Technologie ist da, bezahlbar und in ein Produkt eingebettet, das den Alignment-Prozess als kontinuierlichen Kreislauf versteht. Ein solider Schritt für alle, die ernsthaft an verlässlichen Agenten arbeiten.
Quelle: raindrop.ai
