Tool Retrieval in der Gemini API: Werkzeugschemas gezielt statt vollständig laden

Abstrakte dreidimensionale Datenvisualisierung eines neuronalen Netzes im dunklen Raum
Deine Reaktion:

Die Gemini API lädt bei aktivierter Tool Retrieval zunächst nur Namen und Beschreibungen verfügbarer Werkzeuge. Die vollständigen Parameter-Schemata werden erst nachgeladen, wenn das Modell ein certain Werkzeug tatsächlich benötigt. So bleiben Prompts bei großen Werkzeugbibliotheken schlanker. Auswahl und Funktionsaufruf finden weiterhin innerhalb desselben API-Aufrufs statt.

Für Agenten mit Dutzenden oder Hunderten von Funktionen ist das ein grundlegender Umbau der Prompt-Ökonomie. Das Verfahren steht seit dem 19. November 2026 als Preview in der Gemini Interactions API zur Verfügung. Es richtet sich an Entwicklerinnen und Entwickler, die ihre Werkzeuge nicht mehr bei jeder Anfrage vollständig an das Modell übermitteln wollen.

Warum vollständige Tool-Schemas die Prompt-Größe aufblähen

Ein Agent benötigt Werkzeuge, um Aufgaben auszuführen: eine Rechnung suchen, eine Rückerstattung veranlassen, einen Kalender aktualisieren oder eine Datei abrufen. Jedes dieser Werkzeuge benötigt eine Beschreibung sowie ein Parameter-Schema. Das Schema beschreibt, welche Argumente das Modell übergeben darf, welche Typen erwartet werden und welche Struktur die aufrufende Anwendung verarbeiten muss.

Solange eine Anwendung nur wenige Werkzeuge verwendet, wirkt das kaum relevant. Bei einer großen Bibliothek entstehen jedoch schnell zweistellige Megabyte an Text pro Anfrage, die vollständig als Eingabe verarbeitet werden. Das erhöht nicht nur die Token-Kosten, sondern auch die Latenz. Gleichzeitig bekommt das Modell eine wachsende Auswahl präsentiert, wodurch die passende Funktion mitunter schwerer zu erkennen ist.

Vergleichen wir das mit einer Werkzeugkiste am Arbeitsplatz. Wenn jeden Vorgang alle möglichen Spezialwerkzeuge samt Anleitung zeigen müsste, wäre die Auswahl nicht leichter, sondern unübersichtlicher. Ein sinnvoller Aufbau arbeitet anders: Man behält die Auswahl im Blick, öffnet die Anleitung eines Werkzeugs bei Bedarf und nutzt erst dann dessen vollständige Beschreibung.

Tool Retrieval überträgt dieses Prinzip auf die Gemini API. Statt die komplette Werkzeugbibliothek jedes Mal mitzuschicken, markiert die Anwendung bestimmte Werkzeuge als verzögert geladen. Das Modell erhält weiterhin ihren Namen und ihre kurze Beschreibung. Es weiß also, dass diese Funktionen grundsätzlich verfügbar sind, kennt aber zunächst nicht ihre detaillierten Parameter.

Tool Search und defer_loading richten den Ablauf ein

Für die serverseitige Variante wird der Anfrage ein Werkzeug namens tool_search hinzugefügt. Bei den Werkzeugen, die nicht sofort vollständig verfügbar sein sollen, setzt die Anwendung defer_loading: true. Diese Kennzeichnung entscheidet, ob Gemini das jeweilige Schema direkt erhält oder erst bei Bedarf nachlädt.

Der Ablauf besteht aus mehreren logischen Schritten, die API übernimmt. Zunächst sieht das Modell die Liste der verzögerten Werkzeuge mit Namen und Beschreibung. Anschließend sucht es nach dem passenden Werkzeug für die aktuelle Aufgabe. Die API lädt das vollständige Schema dieses Werkzeugs nach, und Gemini erzeugt daraus den eigentlichen function_call.

Alle drei Schritte erscheinen in interaction.steps. Das ist für die Fehlersuche wichtig, weil sich dort nachvollziehen lässt, welche Werkzeuge das Modell berücksichtigt hat. Probleme mit einem Tool-Namen, einer unklaren Beschreibung oder einer fehlerhaften Parametergenerierung lassen sich damit präziser unterscheiden als in einer undurchsichtigen Fehlermeldung.

Nach dem Funktionsaufruf folgt der bereits bekannte Ablauf. Die Anwendung führt die Funktion aus und sendet das Ergebnis als function_result zurück. An dieser Stelle verändert Tool Retrieval nicht die grundlegende Semantik des Function Callings. Es verändert, wie viel Werkzeugwissen pro Anfrage vorab in den Kontext gelangt.

Besonders praktisch ist, dass kein eigener Suchindex aufgebaut oder gehostet werden muss. Die Suche läuft auf der Google-Seite. Für den einfachen Einsatz müssen Entwickler nur das zusätzliche Suchwerkzeug und die Verzögerungsoption ergänzen. Häufig genutzte Funktionen können weiterhin direkt geladen werden, während die lange Werkzeugauswahl auf Abruf wartet.

Gemini sucht die passende Funktion innerhalb einer Anfrage

Der entscheidende Unterschied liegt in der Verlagerung der Auswahl. Das Modell muss nicht aus sämtlichen vollständig beschriebenen Werkzeugen gleichzeitig den passenden Aufrufer wählen. Es identifiziert zunächst anhand von Name und Beschreibung die passende Funktion und erhält erst danach deren technische Einzelheiten. Das reduziert die Informationsdichte, mit der das Modell zu Beginn arbeiten muss.

Ein Beispiel dafür ist eine Rückerstattung. Die Anfrage enthält neben tool_search numerous andere Werkzeuge, die zunächst nur mit Namen und Beschreibung vertreten sind. Für den konkreten Auftrag erkennt Gemini die Funktion issue_refund und fordert deren Schema an. Daraufhin erzeugt das Modell den Aufruf mit den erforderlichen Parametern.

Der Vorteil besteht nicht darin, dass Gemini grundsätzlich schlauer sucht. Die Auswahl selbst muss weiterhin zuverlässig funktionieren, insbesondere wenn Werkzeugbeschreibungen ähnlich sind. Der Vorteil liegt in der Trennung zwischen einer kompakten Übersicht und einer bei Bedarf verfügbaren Gebrauchsanweisung. Genau diese Trennung soll verhindern, dass eine wachsende Bibliothek den gesamten Auswahlprozess überlagert.

Für Teams bedeutet das außerdem eine überschaubare Migrationsform. Es ist nicht nötig, sämtliche Werkzeuge neu zu archieren. Häufig benötigte Funktionen können direkt geladen bleiben, während seltene oder sehr umfangreiche Werkzeuge mit defer_loading zurückgehalten werden. Der Übergang kann schrittweise erfolgen.

Client-seitige Suche für eigene Registry und Berechtigungen

Nicht jede Anwendung kontrolliert ihre Werkzeugauswahl vollständig im Modell. Manche Systeme führen eine eigene Registry, einen Embedding-Index oder einen individuellen Berechtigungsfilter für Nutzerdaten. Für diese Fälle unterstützt Tool Retrieval eine clientseitige Variante. Dabei wird tool_search mit "execution": "client" deklariert und mit Parametern für die Suchlogik versehen.

Die clientseitige Suche überträgt die Lookup-Aufgabe an die eigene Anwendung. Gemini formuliert die Anfrage, der Client durchsucht seine Registry und sendet die passenden Tool-Definitionen zurück. Anschließend kann das Modell daraus einen Funktionsaufruf erzeugen. Dafür entsteht zusätzlicher Netzwerkverkehr, da die Suche einen weiteren Roundtrip benötigt.

Diese Variante ist vor allem interessant, wenn Werkzeuge während einer laufenden Unterhaltung hinzukommen. Eine neue Integration kann dem Client bekannt gemacht werden, ohne dass sämtliche Tools bereits zu Beginn der Konversation registriert sein müssen. Das ist ein wesentlicher Unterschied zur herkömmlichen Tool-Deklaration, bei der die verfügbaren Funktionen vorab feststehen.

Auch bei Mandanten, Nutzern oder Sessions können unterschiedliche Werkzeugmengen sichtbar sein. Ein eigener Index erlaubt eine granularere Kontrolle als eine pauschale Suche über alle verfügbaren Tools. Der Preis dafür ist die zusätzliche Anfrage und die Verantwortung, Suchlogik, Berechtigungen und Antwortformat in der eigenen Anwendung zu pflegen.

Die Entscheidung zwischen serverseitiger und clientseitiger Suche folgt damit einer klaren Abwägung. Gemini Search ist einfacher und benötigt keinen eigenen Index. Client Search bietet mehr Kontrolle über Registry, Berechtigungen und dynamisch verfügbare Integrationen, verursacht aber einen zusätzlichen Roundtrip. Wie bei einer Werkzeugauswahl im echten Leben zählt nicht allein, welches Verfahren am geschicktesten klingt, sondern welches zur vorhandenen Infrastruktur passt.

Preisverwaltung, Prefix Caching und MCP-Unterstützung

Tool Retrieval hat laut Anbieter keine separate Gebühr. Die regulären Ein- und Ausgabetoken des verwendeten Modells werden berechnet. Das aktivierte tool_search fügt einen kleinen, festen Block von Eingabetokens hinzu. Jedes nachgeladene Schema wird für den restlichen Gesprächsverlauf als Eingabe berechnet, ähnlich wie ein von Anfang an deklariertes Werkzeug.

Die wirtschaftliche Frage lautet daher, ob die nicht geladenen Schemas mehr Tokens einsparen, als Suchmechanismus und tatsächlich benötigte Schemas verursachen. Bei großen Bibliotheken ist das laut Google häufig der Fall. Für ein kleines Toolset kann der Aufwand dagegen größer sein als der Nutzen. Deshalb empfiehlt sich ein Vergleich anhand des eigenen Verkehrs und der realen Aufgabenverteilung.

Tool Retrieval und Prefix Caching arbeiten zusammen. Der gecachte Präfix am Anfang der Unterhaltung bleibt stabil, weil zurückgestellte Schemas dort nicht vollständig enthalten sind. Ein nachgeladenes Schema wird später im Verlauf ergänzt. Dadurch muss nicht bei jedem Gesprächsabschnitt die komplette Werkzeugbeschreibung neu in den unveränderlichen Präfix aufgenommen werden.

Auch entfernte MCP-Server werden unterstützt. Wird bei einem mcp_server-Werkzeug defer_loading: true gesetzt, lädt Gemini sämtliche vom Server angebotenen Werkzeuge bei Bedarf. Das ist praktisch, weil ein MCP-Server hunderte Funktionen bereitstellen kann, ohne dass die Gemini-Anwendung jedes einzelne Tool auflisten muss.

Damit ähnelt Tool Retrieval in diesem Punkt einer zusätzlichen Schublade in einem großen Werkzeugschrank. Gemini kennt die Schublade und ihre grobe Funktion, öffnet sie aber nur, wenn ein Auftrag tatsächlich dorthin führt. Das hält sowohl den Prompt als auch die Übersicht über verfügbare Fähigkeiten besser beherrschbar.

Kompatibilität, Einführung und sinnvolle Messgrößen

Tool Retrieval funktioniert in der Gemini Interactions API mit Gemini 3.6 und neueren Modellen, einschließlich der Gemini-4-Modelle. Da es sich um eine Preview handelt, sollten Entwicklerinnen und Entwickler die tatsächliche Modellunterstützung sowie mögliche Änderungen an der API beobachten. Vor einem breiten Produktiveinsatz empfiehlt sich außerdem eine klare Fallback-Strategie.

Der Einstieg ist technisch überschaubar. Zuerst wird tool_search zur Anfrage hinzugefügt. Danach werden geeignete Tools mit defer_loading: true markiert. Anschließend lassen sich die geladenen Schemas und die ausgeführten Funktionsaufrufe in interaction.steps prüfen. Bei Bedarf kann ein kleines Toolset für einen Vergleich vor und nach der Umstellung dienen.

Wichtig sind vor allem Messwerte, die über eine reine Tokenzählung hinausgehen. Neben den Eingabetokens gehören Latenz, Auswahlgenauigkeit, fehlerhafte Funktionsaufrufe und der Anteil tatsächlich benötigter Schemas zur Betrachtung. Außerdem lohnt sich der Vergleich verschiedener Werkzeugbeschreibungen. Eine präzisere Beschreibung kann die Auswahl verbessern, auch wenn Tool Retrieval die Menge der vorab sichtbaren Informationen reduziert.

Für die Praxis ergibt sich damit ein nüchternes Bild. Tool Retrieval löst nicht das Grundproblem schlechter oder doppelter Werkzeugdefinitionen. Es senkt aber den Standardaufwand, wenn eine Anwendung weit mehr Funktionen anbietet, als in der jeweiligen Aufgabe benötigt werden. Der entscheidende Vorteil liegt in einer kontrollierten Informationsflut: erst Auswahl, dann Detailwissen.

Wer Tool Retrieval einsetzt, sollte daher nicht auf die bloße Aktivierung der Funktion setzen. Er sollte die Werkzeugbibliothek nach Häufigkeit, Komplexität und Kosten des jeweiligen Schemas ordnen und anschließend prüfen, ob die Kombination aus Suche, Ladezeitpunkt und Prefix Caching wirklich zuverlässigeren und günstigeren Agenten führt. Der praktische Nutzen liegt in weniger ballasteten Anfragen und mehr Aufmerksamkeit für die Aufgabe, die tatsächlich gelöst werden muss.

Quelle: blog.google

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 63
Relevanz 76
Hype 42
Einschätzung 65
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.