Stell dir vor, du hast eine KI, die Videos versteht und generiert. Du gibst ihr ein Standbild und eine Anweisung, etwa: „Hier rollt ein Ball durch ein Hindernisparcours – wo landet er?“ Und die KI zeigt dir eine Animation. Oft funktioniert das erstaunlich gut. Aber manchmal liefert sie Unsinn. Sie lassen den Ball durch die Wand plumpsen oder übersehen das Ziel komplett. Was dann? Bei Sprachmodellen kennt man das Problem: Ein schlecht formulierter Prompt führt zu einer schlechten Antwort. Also verbessert man den Text. Doch was, wenn die Eingabe gar kein Text ist, sondern ein Bild? Eine neue Arbeit von Google DeepMind zeigt, dass man auch das Bild selbst „prompten“ kann – und das oft besser wirkt als jeder Text.
Prompt Engineering: Mehr als nur Worte
Seit einigen Jahren weiß man, dass die Qualität von KI-Antworten stark davon abhängt, wie man die Anfrage formuliert. Ein kurzer, vager Satz wie „Erkläre Quantenphysik“ führt zu einem anderen Ergebnis als eine präzise Anweisung mit Beispielen und Zielgruppe. Diese Praxis nennt man Prompt Engineering. Sie ist eine Kunst, die sich ausprobiert, verfeinert und manchmal in Formelsammlungen gegossen wird. Doch mit dem Aufkommen multimodaler Modelle, die nicht nur Text, sondern auch Bilder und Videos verarbeiten, stellt sich die Frage: Gibt es das Pendant für visuelle Eingaben? Genau hier setzt die Forschung von Google DeepMind an.
Die Wissenschaftler nennen ihren Ansatz „Visual Prompt Engineering“ oder kurz VIPE. Die Idee ist bestechend einfach: Wenn ein Video-Modell Schwierigkeiten mit einem Eingabebild hat, dann verändert man eben das Bild, bevor man es der KI gibt. Das kann eine radikale Stiländerung sein, etwa von einer abstrakten Skizze zu einer fotorealistischen Szene. Es kann aber auch eine subtile Anpassung sein, wie das Hinzufügen einer dicken Kontur oder das Ändern des Hintergrunds. Das Entscheidende ist: Man bleibt in der visuellen Domäne, man tippt keine neuen Anweisungen ein, sondern manipuliert das Bild selbst.
Wie VIPE funktioniert
Die Methode ist verblüffend unkompliziert. Man nimmt das ursprüngliche Aufgabenbild und lässt es von einem Bildbearbeitungsmodell umwandeln. Solche Modelle sind inzwischen so gut, dass sie aus einer einfachen Strichzeichnung eine plausible Fotografie erzeugen können, ohne die zugrunde liegende Struktur zu verändern. Man kann auch gezielter vorgehen: Statt das ganze Bild neu zu gestalten, editieren die Forscher einzelne Konzepte. Sie ersetzen etwa die flache Farbe eines Kreises durch eine glänzende 3D-Oberfläche oder entfernen die Sättigung aller nicht relevanten Objekte. Diese feinen Eingriffe nennen sie „Atomic Concept Edit“.
Die Wahl der Transformation ist nicht willkürlich. Die Forscher testen mehrere Varianten und schauen, welche die besten Ergebnisse liefert. Das erinnert ein wenig an das Ausprobieren verschiedener Textprompts – nur eben im Bildraum. Und hier zeigt sich eine interessante Beobachtung: Oft reicht es nicht, das Bild einfach „schöner“ zu machen. Die Transformation muss zur Aufgabe passen. Bei einer Physik-Aufgabe, bei der ein Ball durch Rampen rollt, hilft ein fotorealistischer Industriehallen-Stil mehr als eine bunte Candy-Landschaft. Bei einem Puzzle, bei dem Punkte verbunden werden sollen, sorgt eine dicke schwarze Kontur um die Punkte für den entscheidenden Unterschied.
Sechs Aufgaben, sechs Erfolge
Die Forscher haben ihr Verfahren an sechs verschiedenen Aufgaben getestet. Da ist zuerst die Physik-Aufgabe: Ein Ball rollt über Rampen und soll in einem von drei Eimern landen. Das Originalbild, eine abstrakte Skizze, führt oft zu Fehlern. Wird dasselbe Bild in eine fotorealistische Förderanlage verwandelt, gelingt die Vorhersage deutlich besser. Ähnlich sieht es bei der Suche nach einem Objekt aus, das gleichzeitig eine bestimmte Form und Farbe haben muss. Hier hilft es, die relevanten Kreise in glänzende 3D-Kugeln zu verwandeln – so stechen sie für das Modell klar hervor.
Auch bei einfachen Denksportaufgaben wie „Verbinde gleichfarbige Punkte“ oder „Sortiere drei Zahlen“ wendet sich das Blatt. Ein minimalistisches Bild mit flachen Kreisen wird zum Stolperstein. Derselbe Bildinhalt, aber als Tafel mit Kreidepunkten oder als Retro-Arcade-Sprites, bringt das Modell auf die richtige Spur. Selbst beim Labyrinth-Lösen, einer Aufgabe, die ein hohes Maß an räumlichem Verständnis erfordert, kann eine Umwandlung in eine „klassische 2D-Arcade-Szene“ die Erfolgsquote erheblich steigern. Und beim Rush-Hour-Puzzle, bei dem ein rotes Auto aus einem Stau herausgefahren werden muss, zeigt sich ein ähnliches Muster.
Das Bemerkenswerte an diesen Ergebnissen ist nicht, dass alle Aufgaben perfekt gelöst werden. Es gibt weiterhin Fehler und Schwächen. Aber die Verbesserung ist systematisch und reproduzierbar. Die Forscher zeigen für jede Aufgabe mehrere Varianten, die alle zum Erfolg führen. Das ist ein starkes Indiz dafür, dass der Effekt kein Zufall ist, sondern eine grundlegende Eigenschaft von Video-Modellen widerspiegelt.
Warum dieser Ansatz so überraschend wirkt
Man sollte meinen, dass ein Video-Modell, das auf riesigen Datenmengen trainiert wurde, auch mit abstrakten Skizzen umgehen kann. Schließlich sehen Modelle während des Trainings Millionen von Bildern, auch Diagrammen und Zeichnungen. Doch die Realität sieht anders aus. Offenbar sind diese Modelle auf „natürliche“ visuelle Eingaben spezialisiert, also auf Fotos oder realistische Szenen. Abstrakte Darstellungen fallen aus ihrer Verteilung heraus und führen zu unsinnigen Vorhersagen. Indem man das Bild in einen vertrauten Stil übersetzt, holt man das Modell sozusagen in seine Komfortzone zurück.
Interessanterweise ist dieser Effekt stärker als die Optimierung des Textprompts. Das bedeutet: Die visuelle Eingabe trägt mehr zur Lösung einer visuellen Aufgabe bei als die sprachliche Beschreibung. Das ist eine wichtige Erkenntnis für alle, die mit Video-KI arbeiten. Es reicht nicht, eine detaillierte Textanweisung zu formulieren. Das Bild muss zur Aufgabe passen. Für die Praxis heißt das: Nutzer können ihre Ergebnisse verbessern, ohne das Modell zu verändern oder teure Rechenressourcen zu erhöhen. Ein einfacher Bild-Edit kann mehr bewirken als ein längerer Prompt oder mehr „Denkzeit“ des Modells.
Ein weiterer überraschender Punkt ist, dass die besten visuellen Transformationen nicht unbedingt die aufwendigsten sind. Ein schlichter Hintergrundwechsel von Weiß auf Schwarz oder das Hinzufügen einer dicken Kontur reicht manchmal aus, um das Modell auf die richtige Lösung zu bringen. Das spricht dafür, dass Video-Modelle stark auf visuelle Kontraste und klare Kanten reagieren. Sie scheinen Objekte besser zu „verstehen“, wenn diese deutlich abgegrenzt und mit einer satten Farbe oder einer 3D-Oberfläche versehen sind.
Eine Brücke zwischen Bild und Verständnis
Man kann sich das Ganze wie eine Übersetzung vorstellen. Das Modell spricht eine Sprache, die auf fotorealistischen Bildern beruht. Eine abstrakte Skizze ist für es wie eine Fremdsprache – es erkennt zwar einzelne Elemente, aber die Grammatik, also die physikalischen Gesetze und Beziehungen zwischen den Objekten, geht verloren. Visual Prompt Engineering übersetzt das Bild in die Muttersprache des Modells. Auf diese Weise kann die KI ihr gesamtes Wissen über Physik, Objekte und deren Interaktion nutzen, das sie aus unzähligen Videos gelernt hat.
Diese Perspektive macht auch deutlich, warum die Methode so effektiv ist. Video-Modelle sind darauf trainiert, die Welt in Bewegung zu verstehen. Sie haben gelernt, dass Bälle auf Rampen rollen, dass Autos sich durch Verkehr schlängeln und dass Zahlen sortiert werden können. Aber dieses Wissen ist eng mit dem visuellen Erscheinungsbild verknüpft. Wenn man ein Bild präsentiert, das wie ein abstraktes Diagramm aussieht, kann das Modell die Verbindung zu seiner Wissensbasis nicht herstellen. Die Transformation schafft diese Verbindung.
Natürlich hat die Methode auch Grenzen. Nicht jede Aufgabenstellung lässt sich durch eine einfache Bildtransformation verbessern. Die Forscher räumen ein, dass die Wahl der richtigen Transformation Erfahrung und Ausprobieren erfordert. Man weiß nicht immer im Voraus, welche Stiländerung dem Modell helfen wird. Und nicht jede Transformation ist neutral – man muss aufpassen, dass man nicht versehentlich wichtige Informationen im Bild verändert. Aber gerade die Kombination aus freier Stilwahl und gezielten Konzept-Editionen bietet einen flexiblen Werkzeugkasten.
Was bedeutet das für dich?
Wenn du selbst mit Video-Modellen experimentierst, also etwa mit KI-generierten Clips oder visuellen Reasoning-Aufgaben, dann nimm dir diesen Gedanken mit: Das Aussehen des Eingabebildes ist ein Teil des Prompts. Du solltest es genauso sorgfältig gestalten wie deine Textanweisung. Stelle dir Fragen: Ist das Bild klar? Heben sich die relevanten Objekte genug ab? Entspricht der Stil dem, was das Modell wahrscheinlich aus Videos kennt? Wenn dein Modell scheitert, versuche nicht nur, den Text zu ändern, sondern auch das Bild.
Diese Erkenntnis ist ein weiteres Puzzlestück im Verständnis von KI-Systemen. Sie zeigt, dass multimodale Modelle nicht einfach „alles sehen“, sondern dass sie auf bestimmte visuelle Muster angewiesen sind. Für Entwickler und Anwender ist das eine wertvolle Heuristik. Statt in Testzeit-Rechenleistung zu investieren, kann man mit einem einfachen Bild-Edit oft mehr erreichen. Das senkt die Kosten und macht KI zugänglicher.
Die Forschung von Google DeepMind trägt damit zu einer pragmatischen Sicht auf KI bei. Es geht nicht darum, Modelle unfehlbar zu machen, sondern darum, sie besser zu nutzen. Visual Prompt Engineering ist ein Werkzeug, das uns hilft, die Fähigkeiten bestehender Systeme voll auszuschöpfen. Und das ist vielleicht die wichtigste Botschaft: Die Zukunft der KI liegt nicht nur in größeren Modellen, sondern auch in klügeren Interaktionen. Das Bild, das du der KI zeigst, ist Teil der Botschaft. Gestalte es weise.
Quelle: visual-prompt-engineering.github.io
