33 Prozent der 168 Anruferfragen bekamen in einem Vergleichstest Anfang Oktober eine falsche Seite vorgelegt. So oft führte die Suchkomponente eines KI-Telefonassistenten das Sprachmodell auf eine Webseite, die die Frage nicht beantwortete. Das Team des britischen Anbieters Sayora hat diesen Test dokumentiert und die Zahlen veröffentlicht – zusammen mit dem, was die Entwickler stattdessen ausprobiert haben. Der Assistent von Sayora nimmt Telefonate für Handwerksbetriebe, Immobilienmakler, Elektriker und Gastronomen an.
Wenn du dich mit RAG-Optimierung für einen AI-Rezeptionisten beschäftigst, kennst du den Aufbau: Website zerlegen, in Vektoren umrechnen, ähnlichste Passagen ins Sprachmodell geben. Das ist der Standard, und er funktioniert gut genug, um ihn auszuliefern. Interessant wird es dort, wo er versagt. Die folgende Analyse beschreibt, wie sich ein Entscheidungsmodell in derselben Rolle schlägt – ein Modell, das keinen Satz Text schreiben kann und trotzdem die richtige Seite findet.
Wie der KI-Telefonassistent heute eine Unternehmenswebsite liest
Die meisten Anrufe bei einem kleinen Betrieb sind Routine. Termine, Nachrichten, die Frage, ob samstags geöffnet ist. Schwieriger wird es bei Fragen über das Unternehmen selbst: Ist die Bewertung kostenlos? Baut ihr auch Wasserenthärter ein? Darf der Hund mit? Solche Antworten stehen fast immer auf der eigenen Website, und deshalb holt der Assistent sie sich von dort – auf zwei Wegen, je nach Größe.
Bei kleinen Seiten landen die Startseite oder bis zu acht Seiten direkt im Prompt. Bei größeren wird jede Seite in Abschnitte von 1.200 Zeichen mit 200 Zeichen Überlappung zerlegt und mit OpenAIs text-embedding-3-large auf 768 Dimensionen eingebettet. Bei jedem Redebeitrag des Anrufers wird das Gesagte erneut eingebettet, dazu eine Variante mit dem vorherigen Beitrag für Rückfragen, und alles über einer Kosinus-Ähnlichkeit von 0,36 landet im Kontext. Das ist vektorbasierte Suche nach Lehrbuch. Sayora hat genau dieses Rezept ausgeliefert.
Den Entwicklern hat daran trotzdem etwas nicht gefallen. Der Aufbau behandelt eine Website wie einen Haufen loser Dokumente, die man erst wieder zusammensetzen muss. Eine Firmenwebsite ist aber genau das nicht.
Warum das Zerlegen einer Website ihrem eigenen Aufbau widerspricht
Denk an einen Aktenschrank. Wer das Unternehmen kennt, hat die Unterlagen bereits sortiert: ein Ordner für die Kesselwartung, einer für die Gebühren, einer für das Team, einer für die Weihnachtskarte. Jede Seite behandelt genau eine Sache. Diese Ordnung ist selbst eine Information. Sie stammt von einem Menschen, der wusste, was er tat.
Das Chunking wirft diese Ordnung weg. Es schreddert die Ordner zu Konfetti und vertraut darauf, dass ein Ähnlichkeitsmaß den Sinn wieder zusammensetzt. Der Aktenschrank existiert also bereits, aber niemand schaut hinein.
Der Gegenvorschlag des Sayora-Teams: Seiten ganz lassen, jeder Seite eine kurze Beschreibung mitgeben und dem Assistenten ein Werkzeug in die Hand geben. Wenn er etwas nicht weiß, sagt er „ich schaue kurz nach“ und ruft es auf. Das Werkzeug stellt einem Modell eine Multiple-Choice-Frage: Welche dieser Seiten beantwortet das gerade Gesagte? „Keine davon“ ist eine der Antwortmöglichkeiten. Die ein oder zwei besten Seiten gehen anschließend ans Sprachmodell. Bei „keine“ sagt der Assistent, dass er es nicht weiß, und gibt die Frage weiter.
Ein Modell, das keinen Text schreibt, aber eine Seite auswählt
Die Auswahl übernimmt Jev, ein Entscheidungsmodell, das TypeSafe am 15. September vorgestellt hat. Jev generiert keinen Text. Man schickt ihm einen Zustand und typisierte Fragen, und es antwortet mit einer Wahl und einer Wahrscheinlichkeit für jede Option. Eine Auswahlfrage fasst bis zu 255 Optionen, eine Anfrage bis zu 64.000 Tokens. Der Preis liegt bei 0,042 US-Dollar pro Million Eingabe-Tokens, die Ausgabe ist kostenlos. Auf einer Website mit hundert Seiten sind das pro Nachschlag etwa ein Zwanzigstel Cent.
Die Form passt: Die Optionen sind die Seiten, der Zustand ist das, was der Anrufer gesagt hat, und „keine davon“ ist eine weitere Option. In einem protokollierten Beispiel fragt ein Anrufer, ob eine Immobilienbewertung etwas kostet. Der Assistent ruft das Werkzeug auf, Jev liest die Worte des Anrufers sowie 74 Seitenbeschreibungen plus „keine davon“ und liefert in 0,32 Sekunden „Property valuation“ mit 0,85, „None of these“ mit 0,08 und „Selling off-market“ mit 0,06 – bei 8.689 Eingabe-Tokens. Die obersten Seiten gehen an das Sprachmodell, das antwortet, die Bewertung sei kostenlos und unverbindlich.
Wichtiger als das Ranking ist die letzte Option. „Keine davon“ ist kein Schwellenwert auf einem Ähnlichkeitswert, sondern eine Alternative, die das Modell gegen jede Seite abwägt. Im Test war das der entscheidende Unterschied.
Der Test: 168 Fragen, 1.668 Urteile, neun Auswahlverfahren
Für den Vergleich nahm das Team vier Kundenwebsites und entfernte vorher alle Seiten, die ein Seitenauswähler nie sehen sollte. Einzelne Immobilienangebote fielen weg, weil dafür ohnehin ein Feed existiert, ebenso nahezu identische Landesseiten nach dem Muster „Elektriker in [Ort]“, weil eine Abdeckungsliste die Frage „kommt ihr nach X?“ besser beantwortet als die Wahl zwischen 31 Kopien derselben Seite. Übrig blieben eine Bar mit Restaurant (22 Seiten), ein Immobilienmakler (74), ein Elektriker (75) und ein Mehrgewerke-Wartungsbetrieb (232).
Claude Haiku 4.5 las jede Seite einmal und schrieb eine Beschreibung: Titel, Pfad, eine sachliche Zusammenfassung in 30 Wörtern und ein paar Fragen, die ein Anrufer stellen könnte – rund 100 Tokens pro Seite. Davon getrennt formulierte Claude Opus 5.5 anhand des Seitentexts, nie anhand der Beschreibungen, Fragen in der Sprache echter Anrufer. So entstanden 168 Fragen, 128 davon beantwortbar und 40 nicht. Bei einem Viertel der beantwortbaren kam nach zwei Gesprächsrunden noch eine Rückfrage im Stil von „und was kostet das?“.
Neun Verfahren traten gegen jede Frage an: Jev als einzelne Auswahlfrage über alle Seiten, Jev mit dünneren Beschreibungen, eine Embedding-Vorauswahl der besten 40 Seiten mit anschließender Jev-Entscheidung, GPT-6 Luna mit derselben Liste, Embeddings auf den Beschreibungen, Embeddings auf Chunks (die Produktionssuche) und BM25 als Stichwortsuche. Die Bewertung war gepoolt: Jede Seite, die ein Verfahren unter seinen ersten drei führte, ging an einen Richter, der den echten Seitentext las und entschied, ob ein Rezeptionist daraus antworten könnte. Das ergab 1.668 Urteile. Kein Verfahren wurde an Seiten gemessen, die ein anderes ausgewählt hatte. In sechs Fällen wechselte eine Frage die Kategorie – von beantwortbar zu unbeantwortbar oder umgekehrt –, weil der Richter im Seitentext doch oder eben keine Antwort fand. Die Intervalle stammen aus einem gepaarten Bootstrap über die Fragen.
Ranking: 88 gegen 70 Prozent, und der fairere Vergleich liegt bei 14 Punkten
Jev setzte bei 88 Prozent der beantwortbaren Fragen eine passende Seite an die erste Stelle und hatte sie bei 95 Prozent unter den ersten drei. Die Produktionssuche mit Embeddings kam auf 70 Prozent. Das sind 18 Punkte Vorsprung bei einem 95-Prozent-Intervall von 11 bis 26 – in Prozent ausgedrückt eine Verbesserung um 26 Prozent.
Der ehrlichere Vergleich läuft gegen Embeddings, die über exakt dieselben Beschreibungen laufen, die auch Jev gelesen hat. Dort schrumpft der Abstand auf 14 Punkte (7 bis 21) und bleibt klar über null. Stichwortsuche landet am Ende: BM25 auf Seitentext kommt auf 53 Prozent, auf Beschreibungen auf 57 Prozent. GPT-6 Luna, dem dieselbe Liste vorgelegt und bis zu drei Seiten-IDs oder „keine“ abverlangt wurden, erreichte 86 Prozent und lag damit zwei Punkte hinter Jev – innerhalb der Fehlerspanne kein Unterschied beim Auswählen, sehr wohl aber beim Tempo: Luna brauchte im Median 0,66 Sekunden gegenüber Jevs 0,28.
Auch die Beschreibungsqualität schlägt durch: Mit nur Titel und Zusammenfassung statt der vollen Beschreibung fällt Jev auf 86 Prozent, mit ausschließlich dem Titel auf 78 Prozent. Eine Embedding-Vorauswahl vor der Jev-Entscheidung bringt auf diesen kleinen Seiten nichts Messbares. Auf sehr großen Seiten dagegen schon: Dort holte eine 100-Seiten-Vorauswahl mit anschließender Jev-Wahl 95 Prozent richtige Erstanzeigen und übergab keine einzige falsche Seite. Jev und Embeddings schließen sich also nicht aus.
Die schwerere Fehlerart und die Schwäche des Verfahrens
Ranking ist nur die halbe Aufgabe. Am Telefon ist der schlimmere Fehler, dem Sprachmodell eine Seite zu übergeben, die die Frage nicht beantwortet – denn ein flüssig formulierender LLM baut sich aus fast allem eine Antwort. So zitiert ein Assistent dann die Durchschnittspreise aus einem Ratgeber, als wären es die Preise des Betriebs. Genau hier liegt der größte Abstand: Bei der Produktionsgrenze von 0,36 übergab die Chunk-Suche in 33 Prozent aller Fragen eine falsche Seite. Jev tat das in 3 Prozent der Fälle.
Der zweite Wert ist der aussagekräftigere. Von den 40 Fragen, die die Websites tatsächlich nicht beantworten, sagte die Chunk-Suche nur neunmal, die Antwort sei nicht auf der Website. Jev erkannte 38 von 40. GPT-6 Luna lag dazwischen: Es erkannte 80 Prozent der unbeantwortbaren Fragen und übergab in 8 Prozent der Fälle eine falsche Seite.
Man könnte einwenden, man müsse den Schwellenwert nur anheben. Das Team hat ihn durchgemessen – und zwar auf denselben Fragen, was die Suche begünstigt. Selbst dann kam die beste Chunk-Konfiguration auf 73 Prozent durchgehend richtig beantwortete Fragen und übergab noch in 15 Prozent der Fälle eine falsche Seite. Jev kam ohne jede Abstimmung auf 90 Prozent und 3 Prozent. Das liegt daran, dass „keine davon“ kein Grenzwert auf einem Ähnlichkeitswert ist, sondern eine Option, die gegen jede Seite abgewogen wird.
Die Fehleranalyse zeigt zudem ein Muster. Von den 39 Fragen, bei denen die Chunk-Suche eine falsche Seite an die erste Stelle setzte, gingen 23 an einen allgemeinen Ratgeber oder Blogbeitrag – „How to find a reliable plumber“ bei einer Leckage-Beschwerde, „Rewiring a house in the UK“ bei der Frage nach einem Zertifikat. Ein langer Ratgeber teilt mehr Wörter mit der Frage eines Anrufers als die kurze, konkrete Seite des Betriebs und gewinnt deshalb den Kosinus-Wettbewerb. Jev liest die Liste eher wie ein Mensch; wenn es danebenlag, dann meist zwischen fast identischen Seiten wie „Certified electrician“ und „Part P certificate“. Nur eine seiner 16 falschen Erstanzeigen war ein Ratgeber.
Die Schwäche liegt woanders. Jev liest Beschreibungen wörtlich. Auf die Frage nach Wasserenthärtern antwortete es mit 96 Prozent Sicherheit „keine davon“ – falsch, denn die Seite zur Sanitärinstallation erwähnt sie, nur die Beschreibung tat es nicht. Die Chunk-Suche fand die Seite, weil sie den Seitentext liest. Dasselbe passierte mit Schlüsseldienstleistungen auf einer Gebührenseite und Wallboxen auf einer Elektroinstallationsseite. Die Korrektur liegt beim Betreiber: Beschreibungen müssen die konkreten Dinge benennen, nach denen Anrufer fragen.
Sayora benennt die Grenzen des eigenen Tests selbst: Die 168 Fragen stammen von einem Modell, nicht aus echten Anrufen, die Stichprobe ist klein (rund 35 Fragen je Seite, ein einziger Durchlauf), ein einzelnes Modell war der Richter, und Jev ist erst drei Wochen alt. Für kleine Unternehmen mit einem AI-Rezeptionisten heißt das trotzdem: Der Wechsel von Embeddings zu einem Entscheidungsmodell ist keine Modellmode, sondern korrigiert eine falsche Annahme. Wer eine Firmenwebsite in Schnipsel zerlegt, wirft die Ordnung weg, die ein Mensch hineingelegt hat. Ein Modell, das aus einer Liste von Seiten wählt und „keine davon“ ernst meint, respektiert diese Ordnung. Es weiß auch, wann es schweigen sollte. Eine gelungene Rückfrage beim Chef ist am Telefon immer noch besser als eine erfundene Antwort. Und jedes Mal, wenn „keine davon“ anschlägt, hat der Betrieb eine Frage gefunden, die seine Website nicht beantwortet.
Quelle: sayora.ai
