179 Millisekunden beträgt der mittlere Zeitfehler, den das Alignment-Modell Cue von ElevenLabs auf vollständigen Aufnahmen hinterlässt. Die Open-Source-Werkzeuge im selben Vergleichstest lagen zwischen 283 und mehr als 6000 Millisekunden. Der Wert klingt nach einer Fußnote für Spezialisten. Er entscheidet aber darüber, ob ein Untertitel sitzt oder eine Sekunde zu spät einläuft. Asynchron laufende Bildtexte sind die sichtbare Form dieses Fehlers. ElevenLabs hat das Modell hinter diesen Zahlen jetzt öffentlich beschrieben und die Messwerte mitgeliefert.
Die Grundidee ist alt: Jemand liest einen Text und zeigt gleichzeitig auf die Stelle im Ton, an der die Wörter gesprochen werden. Dieses Zusammenspiel von Geschriebenem und Zeit nennt man Forced Alignment. Der Blogbeitrag von ElevenLabs erklärt, warum daran mehr hängt, als der Name vermuten lässt. Ein Modell, das eine Stunde Audio in rund einer halben Sekunde ausrichtet, ist die Grundlage für Transkripte und Untertitel.
Was Forced Alignment bedeutet – und was es nicht ist
Man gibt dem Verfahren eine Audiodatei und den dazugehörigen Text, und es liefert zu jedem Wort den Zeitpunkt, an dem es gesprochen wird. Wenn du in einem Transkript auf ein Wort klickst und der Player an genau diese Stelle springt, hat ein Aligner diese Arbeit gemacht. Der Vergleich mit dem Finger, der beim Vorlesen über die Zeile wandert, trifft es: Der Text ist bekannt, gesucht wird nur die Position im Ton. Cue arbeitet nicht auf Wortebene, sondern auf Zeichenebene – jeder einzelne Buchstabe bekommt eine Zeitmarke.
Der Begriff ist verwechselbar, weil „Alignment“ auch in der KI-Sicherheitsdebatte auftaucht. Dort geht es um die Frage, wie sich Systeme an menschliche Werte und geschäftliche Vorgaben binden lassen. Mit Forced Alignment ist nichts davon gemeint. Hier werden ausschließlich Text und Ton zur Deckung gebracht, ohne Wertediskussion.
In der Verarbeitungskette steht der Aligner ganz am Ende. Das Speech-to-Text-Modell Scribe schreibt die Audio-Transkription, der Aligner setzt anschließend die Zeitstempel. Jede Scribe-Anfrage läuft durch diesen Schritt, und derselbe Mechanismus versorgt Untertitel, Synchronisation und Liedtexte. Wer die Funktion einzeln braucht, bekommt sie über eine eigene Forced-Alignment-API.
Länge, Störgeräusche, Sprachabdeckung: die Schwachstellen älterer Werkzeuge
Viele Aligner funktionieren zuverlässig bei Clips von etwa dreißig Sekunden. Bei längeren Dateien müssen sie stückeln, und jedes neue Stück ist eine Gelegenheit für einen kleinen Zeitversatz. An den Nahtstellen zwischen den Abschnitten kommt ein zweiter Fehler dazu. Auf vollständigen Aufnahmen summiert sich das zu Werten, die im Test bis über sechs Sekunden reichten. Diese Aufsummierung ist der Grund, warum ein Transkript mit Zeitstempeln nach ein paar Minuten auseinanderläuft.
Schwieriger wird es mit echtem Material. Hintergrundgeräusche, durcheinanderredende Stimmen und Musik im Raum bringen viele Werkzeuge aus dem Takt. Das ist keine Randgruppe von Dateien, sondern der Normalfall: Die wenigsten Aufnahmen entstehen im schalltoten Raum. Auf englischen Aufnahmen mit Störgeräuschen liegt Cue bei durchschnittlich 57 Millisekunden Fehler, die anderen Werkzeuge lagen zwischen 65 und 920 Millisekunden.
Die dritte Einschränkung betrifft Sprachen. Die meisten Open-Source-Aligner brauchen für jede Sprache ein eigenes Modell, und Sprachen mit wenig Trainingsmaterial fallen durchs Raster. Im Benchmark über 29 Sprachen war MMS-FA das einzige andere Werkzeug, das alle abdeckte. Cue erkennt die Wortgrenzen im Vergleich jedoch durchweg schneller.
Auch das Tempo ist ein Kostenfaktor, sobald große Mengen verarbeitet werden. Cue braucht für eine Stunde Audio auf der Produktions-GPU etwa eine halbe Sekunde. Das nächstschnellste Werkzeug, Qwen3-ForcedAligner, liegt bei knapp zwei Sekunden, das langsamste im Test bei deutlich über einer Minute.
Ein Modell, ein Durchlauf: Wie Cue aufgebaut ist
Cue deckt in einem einzigen Modell über 90 Sprachen ab, statt für jede Sprache eine eigene Variante zu führen. Aufnahmen beliebiger Länge laufen in einem Durchlauf durch. Die Stückelung und die Fehler an den Nahtstellen entfallen. Für Produkte, die auf Wortausrichtung angewiesen sind, ist das der praktisch relevante Unterschied.
Viele Modelle werden mit steigender Leistung größer. Cue ist kleiner als der Vorgänger im eigenen Haus. Der Blogbeitrag beschreibt, wie das Team den Benchmark nicht aus akademischen Datensätzen baute, sondern aus echten Nutzeranfragen, mit dem alten Aligner als Referenz. Jedes Werkzeug wurde gleich bewertet, und jedes Wort, das nicht platziert werden konnte, zählte als Fehler.
Der Forscher Danila Kozlov räumt in dem Beitrag eine Messlücke ein. Weil Cue auf Zeichenebene arbeitet, die gängigen Benchmarks aber nur Wörter prüfen, unterschätzen die Zahlen die tatsächliche Genauigkeit vermutlich. „Irgendwann erreicht man das Niveau menschlicher Fähigkeiten“, wird er zitiert; das aktuelle Modell liege darüber, weshalb sich Korrektheit kaum noch sauber prüfen lasse. Einen goldenen Benchmark dafür gibt es nicht.
Ein Kunde meldete, dass Georgisch und einige andere ressourcenärmere Sprachen schlechter abschnitten als erwartet. Innerhalb von weniger als 24 Stunden war der Fehler untersucht, eine verbesserte Version trainiert und ausgeliefert.
Gesang als schwieriger Fall: 92,7 Prozent innerhalb von 0,3 Sekunden
Musik gilt als besonders unangenehmer Fall. Beim Singen werden Wörter gedehnt, verschluckt und über Melodien verteilt, weshalb nur wenige Modelle damit zurechtkommen. Das Team hat nach eigener Aussage nicht damit gerechnet, dass Cue hier so gut abschneidet. Getestet wurde an einem Teil des frei lizenzierten JamendoLyrics-Multilang-Datensatzes.
Das Ergebnis: 92,7 Prozent der Wörter lagen innerhalb von 0,3 Sekunden zur Referenzmarke, das nächstbeste Werkzeug kam auf 82,0 Prozent. Der mittlere Startfehler betrug 0,82 Sekunden und damit etwa die Hälfte des nächsten Konkurrenten. Auf mindestens 19 von 22 Songs war Cue genauer als jedes andere getestete Werkzeug, und zwar in Englisch, Französisch, Spanisch und Deutsch in einem einzigen Durchlauf.
Für Karaoke, automatisch synchronisierte Untertitel oder Liedtexte in Musik-Apps zählt dieser Unterschied. Ein Text, der beim Mitsingen um eine halbe Sekunde hinterherläuft, fällt sofort auf. Ein Text, der sitzt, fällt niemandem auf.
Was das für Transkripte, Untertitel und Speech-to-Text praktisch heißt
Für dich als Nutzer ändert sich vor allem die Zuverlässigkeit. Ein Transkript mit Zeitstempeln, in dem jedes Wort anspringt, macht aus einem langen Interview ein durchsuchbares Archiv. Untertitel, die automatisch synchronisiert werden, brauchen keine Nacharbeit mehr im Editor. Und eine Audio-Transkription mit hoher Genauigkeit ist die Voraussetzung dafür, dass die Zeitspur überhaupt stimmt.
Ein Forced-Alignment-Modell für über 90 Sprachen, das ohne Stückelung auskommt, verschiebt das Problem von der Nachbearbeitung in die Infrastruktur. Statt Fehler hinterher zu glätten, entstehen sie gar nicht erst. Wer selbst Software baut, kann das über die Forced-Alignment-API direkt nutzen, statt eine eigene Pipeline zu pflegen.
Die berichteten Werte stammen aus dem Haus, das das Modell entwickelt hat. Der Benchmark ist auf echte Nutzeranfragen zugeschnitten, nicht auf einen unabhängigen Standard. Dass Cue auf Zeichenebene genauer arbeitet, als Wort-Benchmarks zeigen können, ist plausibel, aber auch eine bequeme Erklärung für fehlende Vergleichszahlen. Wer Genauigkeit braucht, sollte die eigenen Dateien testen, nicht nur die veröffentlichten Zahlen.
Forced Alignment ist keine spektakuläre Disziplin. Es ist die Buchhaltung der Sprachverarbeitung, und Buchhaltung fällt nur auf, wenn sie falsch ist. Ein Modell, das diese Buchhaltung in einer halben Sekunde pro Stunde Audio erledigt, in 29 getesteten Sprachen, bei Musik und Straßenlärm, senkt die Kosten für alle, die Transkripte, Untertitel und Dubbing betreiben. Der Finger auf der Zeile wird schneller. Seltener muss man ihm nachschauen.
Quelle: elevenlabs.io
