Ein KI-Modell kann jedes Fachbuch kennen und jede Programmiersprache beherrschen. Doch die Maus bewegen, einen Button klicken oder eine Datei verschieben – das lag lange außerhalb seiner Reichweite. Sprachmodelle produzierten Texte, schrieben Code oder analysierten Daten. Die direkte Interaktion mit Computer-Oberflächen blieb anderen Systemen vorbehalten. Google schließt diese Lücke nun mit einer Integration in sein neuestes Modell.
Produktmanager Mateo Quiros von Google DeepMind gab am 24. Juni 2026 bekannt: Die sogenannte Computer-Use-Fähigkeit ist jetzt fest in Gemini 3.5 Flash eingebaut. Bisher war sie nur als separates Modell verfügbar – Gemini 2.5 Computer Use. Jetzt ist sie ein nativer Bestandteil des Hauptmodells. Entwickler können Gemini 3.5 Flash nicht nur für Text- und Code-Aufgaben nutzen, sondern auch dafür, gezielt auf dem Bildschirm zu agieren. Die KI sieht, was auf dem Monitor passiert, denkt über die nächsten Schritte nach und führt sie aus – sei es im Browser, auf dem Desktop oder in einer mobilen Umgebung.
Das ist ein Paradigmenwechsel. Bisherige KI-Assistenten sagten dir, wie du eine E-Mail versendest oder eine Datei speicherst – aber sie erledigten es nicht für dich. Computer Use schließt diese Lücke. Die KI wird zum aktiven Bediener, nicht nur zum Ratgeber. Das eröffnet neue Anwendungsbereiche, besonders in der Automatisierung und im Enterprise-Umfeld. Ein Testingenieur muss hunderte Szenarien in einer Software durchspielen. Bisher brauchte er teure Test-Frameworks oder führte jede Aktion manuell aus. Mit Gemini 3.5 Flash kann er einen Agenten bauen, der selbstständig durch die Anwendung navigiert, Buttons klickt, Formulare ausfüllt und Ergebnisse prüft – über Stunden hinweg, ohne menschliches Eingreifen.
Die technische Umsetzung ist durchdacht. Gemini 3.5 Flash behält seine Stärken: exzellente Funktionen für Funktionsaufrufe (Function Calling), die Einbindung von Google-Suche und Google Maps als „Bodenwahrheit“ (Grounding) und die Möglichkeit, mit mehreren Tools gleichzeitig zu arbeiten. Computer Use ist ein weiteres, nahtlos integriertes Werkzeug. Das Modell analysiert einen Screenshot der aktuellen Bildschirmansicht, erkennt die Position von Schaltflächen und Textfeldern, trifft logische Entscheidungen – „Ich muss zuerst auf ‚Login‘ klicken, dann die Daten eingeben, dann auf ‚Absenden‘“ – und führt diese Aktionen als simulierte Maus- und Tastatureingaben aus.
Ein Fortschritt liegt in der Zuverlässigkeit. Frühere Experimente mit Computer-Use-Modellen scheiterten oft an ungenauen Klickpositionen, Missverständnissen bei der Bildschirminterpretation oder fehlender Ausdauer bei langen Aufgaben. Google gibt an, dass Gemini 3.5 Flash hier die bisher beste Leistung für agentische Aufgaben erzielt. Das Modell stabil durchläuft komplexe, mehrstufige Arbeitsabläufe über lange Zeiträume. Für Enterprise-Anwendungen wie kontinuierliches Software-Testen ist das essenziell. Ein KI-Agent sollte nicht nach fünf Minuten die Orientierung verlieren und im falschen Fenster herumklicken.
Mit großer Macht kommt Verantwortung. Ein Modell, das selbstständig auf deinem Computer agiert, birgt Sicherheitsrisiken. Der offensichtlichste: Prompt Injection. Ein Angreifer könnte die KI durch manipulierte Texte auf einer Webseite oder in einer E-Mail zu schädlichen Aktionen bewegen. Quiros und sein Team haben bei Gemini 3.5 Flash mehrere Schutzschichten eingebaut. Das Modell wurde mit adversarialen Trainingsdaten auf solche Angriffe vorbereitet. Zusätzlich gibt es optionale Sicherheitssysteme für Unternehmen. Erstens können sensible oder irreversible Aktionen – das Löschen von Dateien oder das Senden von E-Mails – eine explizite Bestätigung durch einen Menschen erfordern. Zweitens kann das System einen automatischen Stopp auslösen, wenn es eine indirekte Prompt Injection erkennt.
Google empfiehlt eine „Defense-in-Depth“-Strategie: Entwickler sollten diese Funktionen mit sicheren Sandbox-Umgebungen, menschlicher Überprüfung (Human-in-the-Loop) und strengen Zugriffskontrollen kombinieren. Die Best-Practices-Dokumentation ist öffentlich zugänglich. Keine Technologie ist perfekt. Besonders in sicherheitskritischen Bereichen wie Finanztransaktionen oder medizinischen Daten sollte man sich nicht blind auf eine KI verlassen. Die Sicherheit liegt in der Verantwortung der Entwickler, die solche Agenten bauen.
Erste Kunden bestätigen den Wert. Miguel Gonzalez Fernandez von Browserbase beschreibt, wie Gemini 3.5 Flash die Art verändert, wie sein Team automatisierte Tests durchführt. Magnus Müller, CEO von Browser Use, hebt hervor, dass die Integration die Komplexität von Multi-Step-Aufgaben drastisch reduziert. Alvin Stanescu, Senior Director bei UiPath, sieht in der Computer-Use-Funktion eine natürliche Erweiterung ihrer Automatisierungsplattform. Die Zitate zeigen: Das Interesse ist groß, der Nutzen in der Praxis messbar.
Für Entwickler ist der Einstieg einfach. Du kannst die Fähigkeiten von Gemini 3.5 Flash mit Computer Use über die Gemini API oder die Gemini Enterprise Agent Platform testen. Google stellt eine Referenzimplementierung und eine Demo-Umgebung von Browserbase zur Verfügung, in der du den Agenten live erleben kannst. Die Einstiegshürde ist niedrig. Du brauchst kein spezielles Setup, keinen eigenen Server – du rufst die API auf und startest sofort einen Agenten, der zum Beispiel deine Webseite durchgeht und prüft, ob alle Buttons funktionieren.
Was bedeutet das konkret für dich? Wenn du Entwickler bist oder in einem Unternehmen arbeitest, das manuelle, wiederholbare Bildschirmaufgaben hat – Dateneingabe, Software-Testing, Qualitätssicherung, aber auch komplexere Workflows wie das Zusammenstellen von Berichten aus verschiedenen Quellen – dann hast du jetzt ein mächtiges Werkzeug. Statt für jede Änderung in der Benutzeroberfläche deine Automatisierungsskripte umzuschreiben, kannst du einen flexiblen KI-Agenten beauftragen, der sich selbstständig an kleine Änderungen anpasst. Das spart Zeit, Ressourcen und Nerven.
Die Technologie steckt noch in den Kinderschuhen. Auch wenn Google optimistisch ist: Computer Use bleibt ein experimentelles Feature. Es wird Fehler geben, unerwartete Verhaltensweisen, vielleicht auch Sicherheitslücken, die erst später entdeckt werden. Die Verantwortung liegt bei den Entwicklern, die diese Agenten in die Welt setzen. Ein unkontrollierter KI-Agent, der ohne Aufsicht durch dein Firmennetzwerk navigiert, ist keine gute Idee. Bleib vorsichtig, implementiere die Sicherheitsmechanismen, starte mit kleinen, gut überwachten Tests.
Google hat mit Gemini 3.5 Flash einen wichtigen Schritt gemacht: Die KI hört auf, nur zu reden, und beginnt zu handeln. Nicht im Sinne von Science-Fiction-Robotern, sondern in der unspektakulären Form des Mausklickens und Tastaturtippens. Das ist Fortschritt, der den Alltag verändern kann – langsam, leise, aber nachhaltig. Es lohnt sich, einen Blick darauf zu werfen.
Quelle: blog.google
