Wenn große Modelle zu teuer sind – und kleine zu dumm
Ein Kundenservice-Chat muss tausende Anfragen pro Minute beantworten. Gemini 3.1 Pro liefert brillante Antworten, aber jede Anfrage würde Latenz und Budget sprengen. Gemini 2.5 Flash ist schnell und günstig, seine Antworten sind oft oberflächlich. Google bietet mit dem Gemini Distillation Service einen Ausweg. Das Wissen eines großen „Lehrer“-Modells wird auf ein schlankes „Schüler“-Modell übertragen – ohne dass der Schüler jedes Mal den Lehrer fragen muss. Kein Zauber, sondern ein systematischer Prozess.
Was ist Model Distillation? Die Lehrer-Schüler-Analogie
Aus der Schulzeit kennst du es: Ein guter Lehrer erklärt den Lösungsweg, nicht nur die Antwort. Bei Distillation ist es ähnlich. Ein großes, fähiges Modell (Lehrer) bekommt Fragen (Prompts) und generiert nicht nur die finale Antwort, sondern auch seine internen Gedankengänge – die rohe Denkstruktur. Der Schüler trainiert darauf, diese Denkmuster zu imitieren. Er lernt nicht nur die richtige Antwort, sondern wie man darauf kommt. Das unterscheidet Distillation von der klassischen überwachten Feinabstimmung (Supervised Fine-Tuning, SFT), die nur finale Antworten als Ziel vorgibt. Der Schüler wird klüger als durch Architektur und Trainingsdaten allein – und bleibt schnell und ressourcenschonend.
Wie Google den Gemini Distillation Service aufgebaut hat
Der Dienst läuft in fünf Schritten ab. Du startest mit einem Datensatz, der nur die Prompts enthält – keine Antworten, kein Ground Truth. Google validiert das Format und verteilt die Daten parallel. Der Lehrer (Gemini 3.1 Pro) durchläuft jeden Prompt und erzeugt eine detaillierte Antwort samt Reasoning-Pfaden. Diese Rohdaten sind der Schatz. Im dritten Schritt startet das Training des Schülers (Gemini 2.5 Flash), der die Denkmuster des Lehrers nachahmt. Nach Abschluss erhältst du ein destilliertes Modell, zehn Zwischen-Checkpoints und automatisch erstellte Prediction-Endpunkte. Die gesamte Pipeline ist als REST-API verfügbar, im Early Access über die Google Cloud Console einsehbar – mit UI-Einschränkungen, aber funktional vollständig.
Wann lohnt sich Distillation wirklich?
Nicht jede Aufgabe braucht diesen Aufwand. Der Dienst entfaltet seine Stärke in vier Szenarien: Erstens bei hochvolumigen, latenzkritischen Anwendungen, die die Reasoning-Fähigkeiten eines Pro-Modells benötigen, aber auf Kosten und Geschwindigkeit eines Flash-Modells angewiesen sind. Zweitens, wenn Ground-Truth-Daten fehlen – du hast zehntausend Benutzeranfragen, aber keine Zeit für manuelle Musterantworten. Distillation umgeht das Problem, weil der Lehrer die Antworten selbst generiert. Drittens bei komplexen Reasoning-Aufgaben: mehrschrittige Logik, Zusammenfassung technischer Dokumente, knifflige Codeprobleme, bei denen der Basis-Flash versagt, der Pro aber glänzt. Viertens, wenn der Lehrer deine spezifische Aufgabe deutlich besser beherrscht als der Schüler – dann besteht genug Wissensgefälle.
So bereitest du dein Projekt vor
Vor dem Start musst du einige Hürden nehmen. Zunächst benötigst du Zugang zur Allowlist – wende dich an deinen Google-Sales-Rep, um deine Projekt-ID freischalten zu lassen. Dann aktivierst du die Agent Platform API in deinem Google Cloud-Projekt. Die IAM-Rolle „Agent Platform Administrator“ (roles/aiplatform.admin) ist Pflicht. Der gesamte Distillation-Job muss in der Region us-central1 laufen. Einmal eingerichtet, ist es für viele Jobs nutzbar.
Datensätze: Nur Prompts, kein Ground Truth
Ein großer Vorteil des Services: Du brauchst keine aufwendig kuratierten Antworten. Dein Datensatz besteht aus JSONL-Dateien in einem Cloud Storage Bucket. Jede Zeile enthält einen Prompt im standardisierten Gemini-Tuning-Format, optional mit Systemanweisungen. Multi-Turn-Gespräche sind möglich, solange die letzte Nachricht vom Benutzer kommt. Die Mindestgröße für spürbare Verbesserungen liegt bei 1.000 Beispielen. Achte auf Diversität: Deine Prompts sollten Randfälle und unterschiedliche Längen abdecken, die in der Produktion vorkommen. Bis zu 50.000 Beispiele sind erlaubt, die Quelldatei maximal 1 GB.
Hyperparameter und Konfiguration – was du einstellen musst
Der Distillation-Job verlangt zwei zentrale Konfigurationen: das Generierungsverhalten des Lehrers und die Hyperparameter des Schülertrainings. Für den Lehrer gibst du candidateCount an (zwischen 1 und 5, Standard 4) – die Anzahl der Antwortvarianten pro Prompt. Mehr Varianten bedeuten mehr trainierbare Beispiele, aber auch mehr Kosten und Zeit. Für den Schüler definierst du epochCount (Anzahl der Durchläufe über den Datensatz, 1 bis 100, Standard 4) und learningRateMultiplier (0,25 bis 4,0, Standard 1). Der Multiplikator passt die Basis-Lernrate an – ein höherer Wert beschleunigt das Lernen, kann aber zu Instabilität führen. Starte mit den Standardwerten und justiere iterativ. Die API erlaubt kontinuierliches Tuning von bereits destillierten Checkpoints – praktisch, wenn du nach und nach mehr Daten hinzufügen möchtest.
Job starten und überwachen
Der Start erfolgt über REST. Du erstellst eine JSON-Datei mit deiner Konfiguration und sendest sie per curl an den Agent Platform API-Endpunkt. Die Antwort enthält eine Job-ID. Mit einem GET-Request fragst du den Status ab: state, Fehlermeldungen und abschließend die Endpunkte. In der Google Cloud Console siehst du den Fortschritt unter Agent Platform > Tuning, allerdings ohne Fortschrittsanzeige während der Lehrer-Sampling-Phase – der Job läuft trotzdem. Du kannst den Job jederzeit abbrechen, über die Konsole oder per POST. Nach erfolgreichem Abschluss wird das destillierte Modell automatisch in der Model Registry registriert, und es werden Prediction-Endpoints erzeugt. Die Evaluierung erfolgt klassisch: Halte einen Teil deiner Prompts zurück (Holdout-Set), sende sie an den neuen Endpunkt und vergleiche die Antworten mit denen des Basis-Flash und des Pro-Lehrers. So siehst du, wie viel Wissen übertragen wurde.
Einschränkungen, die du kennen solltest
Der Dienst befindet sich im Early Access und hat klare Grenzen. Nur die beiden genannten Modelle werden unterstützt, die Eingabe ist auf Text beschränkt – keine Videos, Bilder oder Function Calls. Der Lehrer darf maximal 24.000 Token Ausgabe generieren; bei Überschreitung wird abgeschnitten, was die Schülerqualität mindern kann. Der Input pro Beispiel ist auf 8.000 Token begrenzt – überschreiten mehr als 10 % der Einträge diesen Wert, wird der Job abgebrochen. CMEK ist für Erstanbieter-Modelle nicht verfügbar. Die Hyperparameter sind fest umrissen: epochCount 1–100, learningRateMultiplier 0,25–4,0. Der gesamte Prozess – vom Sampling bis zum Training – ist ein einziger API-Call. Bei großen Datenmengen musst du sie in einem Durchlauf verarbeiten; späteres Hinzufügen neuer Daten erfordert einen neuen Job mit erneutem Sampling. Das solltest du in deiner Planung berücksichtigen.
Fazit: Distillation als Brücke zwischen Power und Effizienz
Der Gemini Distillation Service ist kein Hype-Tool, sondern eine pragmatische Lösung für ein reales Problem: Wie bekommt man die Intelligenz eines Spitzenmodells in ein schlankeres, alltagstaugliches Format? Google hat den Prozess so weit automatisiert, dass du ohne aufwendige Datenannotation auskommst und direkt von der API profitieren kannst. Es gibt Einschränkungen – Token-Limits, fehlende Multimodalität, Abhängigkeit von einem einzigen API-Call – aber der Ansatz ist vielversprechend. Für Teams, die hohe Reasoning-Qualität mit niedrigen Kosten und Latenzen verbinden müssen, ist das ein mächtiges Werkzeug. Du brauchst kein KI-Forscher zu sein. Ein solides Verständnis von Prompt-Engineering und grundlegenden Hyperparametern reicht aus. Probiere es aus, evaluiere kritisch und entscheide dann, ob Distillation der richtige Weg für deine Anwendung ist.
Quelle: docs.cloud.google.com
