5,33 Prozent mittlere Wortfehlerrate erreicht NVIDIA Nemotron 3.5 Transcribe auf dem englischen Open-ASR-Leaderboard von Hugging Face – der niedrigste Wert, den dort derzeit ein Modell mit offenen Gewichten erzielt. Hinter der Zahl steckt ein Versuch: vier Aufgaben in einem Modell, für die man bisher getrennte Werkzeugketten brauchte.
Wer eine Besprechung aufzeichnet, bekommt heute meist eine Textdatei mit allen Wörtern in einer langen Zeile. Wer wissen will, wer wann gesprochen hat, braucht ein zweites Werkzeug. Wer dieselbe Aufnahme zusätzlich auf Englisch braucht, ein drittes. Und wer aus dem Protokoll eine Frage beantwortet haben möchte – etwa welche Entscheidungen gefallen sind –, liest selbst. NVIDIAs Modell, veröffentlicht auf Hugging Face und ModelScope, macht das in einem einzigen Checkpoint: Transkription, Sprecherzuordnung, Übersetzung und Audio Question Answering.
Die Eckdaten: 40 Sprachen werden transkribiert, 31 davon lassen sich in beide Richtungen ins Englische oder aus dem Englischen übersetzen, in 13 Sprachen ordnet das Modell Sprecher zu. Aufnahmen dürfen bis zu einer Stunde lang sein, bis zu acht Sprecher werden unterschieden. Das Paket adressiert den unangenehmen Teil der Spracherkennung: die Nachbearbeitung.
Vier Aufgaben in einem Modell
Vergleichen lässt sich das mit einem sehr guten Protokollanten. Der schreibt nicht nur mit, er notiert am Rand, wer gesprochen hat, übersetzt für die Kollegen in der anderen Niederlassung und kann hinterher aus dem Gedächtnis sagen, welche Entscheidung gefallen ist. Diese Rollenverteilung findet sich im Modell wieder. Die Transkription liefert den Text, die Sprecherdiarisierung setzt die Namen an den Rand, die Übersetzung erzeugt die fremdsprachige Fassung, das Audio Question Answering beantwortet Fragen direkt aus dem Tonmaterial.
Technisch interessant: Die Sprechermerkmale des Sortformer-Modells gelangen gemeinsam mit den akustischen Features ins Sprachmodell. Die Zuordnung entsteht während der Generierung, nicht in einem nachgelagerten Schritt an fertigen Wörtern. Wer schon erlebt hat, wie nachträgliche Diarisierung bei schnellen Wortwechseln ins Rutschen gerät, weiß, warum das ein Unterschied ist. Zwei Personen, die sich ins Wort fallen, bleiben so eher zwei Personen.
Im Kern arbeitet ein Sprachmodell mit vorgeschaltetem Audio-Encoder. NVIDIA kombiniert einen hybriden Mamba-Transformer-Mixture-of-Experts mit diesem Encoder, wobei pro Token nur etwa 4 der 30 Milliarden Parameter aktiv werden. Das erklärt die Position auf der Genauigkeits-Parameter-Kurve von Artificial Analysis: rund ein Sechstel der aktiven Parameter des Modells, mit dem es sich den Spitzenplatz unter den offenen Gewichten teilt. Für die Praxis heißt das weniger Rechenzeit pro Audio-Minute – bei 100 Stunden Material der Unterschied zwischen einem Nachmittag und einer Mittagspause.
Per Prompt statt per Skript
Spannender als die Leaderboard-Zahlen ist die Bedienung. Dasselbe Audio lässt sich mit einer Anweisung in natürlicher Sprache in unterschiedliche Ergebnisse verwandeln. Der Prompt „Transkribiere diese Aufnahme und beschrifte jeden Sprecher“ erzeugt ein Protokoll mit Rollen. „Übersetze dieses Audio ins Englische“ erzeugt eine fremdsprachige Fassung. „Welche Entscheidungen wurden in diesem Meeting getroffen?“ erzeugt eine Antwort statt eines Textblocks. Der Modellkarten-Eintrag enthält dazu empfohlene Presets, eine vollständige Prompt-Anleitung und eine Matrix, die zeigt, welche Aufgabe in welcher Sprache trainiert wurde. Denn die Unterstützung unterscheidet sich je nach Aufgabe, und das Audio Question Answering ist auf Englisch trainiert.
Für Fachvokabular muss man nicht sofort trainieren. Oft reicht Kontext im Prompt, wie das Beispiel aus dem Gesundheitswesen zeigt: „Transkribiere dieses medizinische Gespräch in der Originalsprache. Mögliche Begriffe: HbA1c, Metformin. Verwende diese Begriffe nur, wenn sie durch das Audio gestützt werden. Behalte die übliche medizinische Schreibweise bei und schreibe Zahlen in konventioneller Form.“ Der Zusatz, Begriffe nur bei akustischer Deckung zu verwenden, ist wichtig: Ohne ihn neigt jedes Sprachmodell dazu, eine Vermutung als Faktum auszugeben. Wortgenaue Zeitstempel unterstützt das Modell ebenfalls, was Untertitel und die Verknüpfung von Transkript und Aufzeichnung ermöglicht. Die Plattform Agora nutzt genau das in einer Klassenzimmer-Demo: Der Mitschnitt einer Unterrichtsstunde wird zum Transkript neben der Wiederholung, sodass Schüler sehen, was wann gesagt wurde.
Was die Leaderboards zeigen – und was nicht
Die Zahlen decken unterschiedliche Fehlerarten ab. Auf dem Hugging Face Open ASR Leaderboard führt das Modell die offenen Gewichte im Englischen mit 5,33 Prozent mittlerer Wortfehlerrate an, im mehrsprachigen Track liegt der Mittelwert über sieben Sprachen bei 4,62 Prozent, bei langen Aufnahmen bei 10,98 Prozent – jeweils der beste Wert im Vergleich der offenen Modelle. Der Durchsatz-Faktor RTFx liegt bei 462,09. Bei Artificial Analysis kommt das Modell auf 2,8 Prozent AA-WER und teilt sich den ersten Platz unter den offenen Gewichten; auf dem gehaltenen Sprachassistenten-Set AA-AgentTalk steht es bei 1,8 Prozent gegenüber 2,3 Prozent beim nächstbesten offenen Modell.
Bei der Sprecherzuordnung wird es deutlicher. Auf David AIs DAI-ASR-I18N-Benchmark liegt die Diarisierungsfehlerrate über 21 Sprachen bei 18,26 Prozent – der niedrigste Wert der 14 getesteten Systeme, knapp vor NVIDIAs spezialisiertem Nemotron 3 Diarization mit 18,38 Prozent, während die übrigen Systeme zwischen 22,85 und 37,55 Prozent liegen. In VoiceArenas Vergleich über komplette englische Sitzungen mit überlappender Sprache erreicht Transcribe 32,4 Prozent cpWER und damit Platz eins; der Anteil ausgelassener Wörter liegt bei 8,32 Prozent der Referenzwörter gegenüber einem Median von rund 31 Prozent. Was diese Zahlen nicht sagen: wie sich das Modell bei starkem Akzent, Telefonbandbreite oder Fachjargon verhält, der nicht im Prompt steht. Die Modellkarte empfiehlt, Namen, Sprecherwechsel und Antworten stichprobenartig gegen die Aufnahme zu prüfen. Das sollte man ernst nehmen.
Granary v2: die Datenpipeline als offener Bauplan
Ein Modell, das man per Prompt steuern kann, braucht Trainingsdaten mit eindeutigen Zielformaten – sonst weiß es nicht, welche der vielen möglichen Schreibweisen gemeint ist. Granary v2, veröffentlicht als Teil der Nemotron-Speech-Sammlung auf Hugging Face und ModelScope und gebaut mit NVIDIA NeMo Curator, liefert genau das. Die Pipeline erzeugt für jede Aufnahme drei Transkriptvarianten: verbatim textnormalisiert, invers-normalisiert mit Füllwörtern und invers-normalisiert ohne Füllwörter. Aus „I paid, uh, twenty-five euros“ werden also wahlweise „I paid, uh, €25“ oder „I paid €25“ – genau die Bandbreite, die man später per Prompt abrufen kann.
Der öffentliche Manifest umfasst 463.062 Stunden aus 48 Sprachen und 16 Quellkorpora, nach 25 Sprachen in Granary v1. Diese Zahlen beschreiben den Datensatz-Release, nicht die vollständige Trainingsmischung des Modells oder deren Sampling-Gewichte – ein Unterschied, den man beim Lesen von Modellkarten im Kopf behalten sollte. Neben Transkripten entstehen kurze Audio-Captions, die Wiederherstellung von Lehnwörtern beim Code-Switching, sprachgestützte Frage-Antwort-Paare, Kontextbegriffe für ASR-Biasing und Übersetzungen mit automatischen Qualitätsscores. Für alle, die ein eigenes Spracherkennungsmodell bauen, ist das weniger ein Datensatz als ein Rezept.
Fine-Tuning: 45,8 Prozent weniger Fehler im medizinischen Fall
Prompting hat eine Grenze, und die verläuft dort, wo die Schreibkonventionen einer Domäne nicht mehr mit gesundem Menschenverstand zu erraten sind. Hier greifen die Fine-Tuning-Rezepte von NeMo Speech. In einer medizinischen Fallstudie senkte das Feintuning die Wortfehlerrate auf gehaltenen, also im Training nicht gesehenen Sprechern um 45,8 Prozent relativ zum besten Prompt-Ergebnis. Kein marginaler Zugewinn: ein Transkript, das man ablegen kann, statt eines, das man gegenlesen muss.
Der Weg dorthin: eigene Daten sammeln, mit derselben Pipeline kuratieren, die auch hinter Granary v2 steckt, und die Zielschreibweise explizit definieren. Wer im Krankenhaus „HbA1c“ statt „HBA 1 C“ lesen will, definiert das einmal im Trainingsziel statt in jedem Prompt neu. Dasselbe gilt für Akzente, für Fachjargon in der Industrie oder für Eigennamen, die kein Modell der Welt aus dem Lehrbuch kennt.
Was das für den eigenen Betrieb bedeutet
Zunächst die Grenzen. Transcribe ist für aufgezeichnetes Audio gebaut, nicht für Live-Streaming. Wer Untertitel in Echtzeit braucht, ist mit diesem Modell nicht am Ziel. Quantisierte Fassungen werden unterstützt; die für den Benchmark verwendete NVFP4-Version ist noch angekündigt. Der verfügbare Checkpoint lässt sich heute mit vLLM servieren, lokale Ausführung über NeMo-Speech.cpp ist ebenfalls verfügbar – etwa auf RTX Spark, DGX Spark oder Jetson AGX Thor; für größere Lasten nennt NVIDIA Blackwell-Rechenzentrums-GPUs. Im Benchmark verarbeitete eine einzelne RTX PRO 6000 Blackwell Server Edition 100 Stunden Audio in unter drei Minuten – mit der kommenden NVFP4-Version, gemessen auf 30-Sekunden-Clips bei hoher Nebenläufigkeit. Solche Zahlen sind Laborwerte, aber sie zeigen die Größenordnung.
Praktisch verschiebt sich die Arbeit. Statt eine Kette aus drei Werkzeugen zu betreiben und deren Ausgaben zusammenzuflicken, definierst du das gewünschte Ergebnis in einem Satz und prüfst es. Statt für jede Fachdomäne ein neues Modell zu beschaffen, adaptierst du eines. Der Protokollant sitzt jetzt im selben Raum wie die Daten – du entscheidest per Anweisung, ob er mitschreibt, übersetzt oder Fragen beantwortet. Bleibt die Kontrolle: Namen, Sprecherwechsel und inhaltliche Antworten gehören gegengelesen. Ein Modell, das so gut formuliert, lädt dazu ein, ihm zu glauben. Genau deshalb bleibt das Gegenlesen Pflicht.
Quelle: huggingface.co
