Du betrittst ein fremdes Gebäude und bekommst eine Anweisung: „Verlasse die Lobby, geh durch den Korridor, betrete den Vorratsraum und bleib vor dem zweiten Regal stehen.“ Als Mensch orientierst du dich mit den Augen und erreichst das Ziel meist problemlos. Einem Roboter diese Fähigkeit beizubringen, ist eine andere Herausforderung. Bisher brauchten autonome Maschinen viele Sensoren: Tiefenkameras, Laserscanner (LiDAR) oder mehrere Kameras. Mistral AI präsentiert Robostral Navigate, ein Modell, das mit einer einzigen handelsüblichen RGB-Kamera auskommt und bisherige Ansätze übertrifft.
Robostral Navigate ist ein 8-Milliarden-Parameter-Modell für die Navigation. Es erhält ein Farbbild der Kamera und eine Anweisung in natürlicher Sprache und berechnet in Echtzeit die nächsten Bewegungsschritte. Im Benchmark R2R-CE erzielt das Modell eine Erfolgsrate von 76,6 % – ohne Tiefenkarten oder LiDAR-Daten. Damit schlägt es den besten Einkamera-Ansatz um 9,7 Prozentpunkte und Systeme mit Tiefensensoren oder mehreren Kameras um 4,5 Prozentpunkte. Herkömmliche Roboter müssen die Umgebung erst kartieren; Robostral Navigate findet sich direkt in einem belebten Büro zurecht, das es nie zuvor gesehen hat. Das ist ein Fortschritt für Logistik, Fertigung, Krankenhäuser oder Serviceroboter.
Wie funktioniert die Navigation mit nur einer Kamera? Die Technik heißt Pointing. Statt metrischer Koordinaten wie „drei Meter geradeaus“ gibt das Modell die Bildkoordinaten des Zielpunkts aus – ähnlich wie wir mit dem Finger zeigen. Der Roboter sagt: „Dort drüben, an diesen Pixelkoordinaten möchte ich hin, und ich möchte in diese Richtung schauen.“ Diese Methode ist robust gegenüber unterschiedlichen Kameras und Maßeinheiten. Ob der Roboter groß oder klein ist, Weitwinkel oder Tele verwendet – die Pixelkoordinaten bleiben gleich. Liegt das Ziel außerhalb des Sichtfelds, greift eine Reservefunktion mit relativen Bewegungen im lokalen Koordinatensystem: „Fahre zwei Meter vorwärts, 1,5 Meter nach links und drehe dich 25 Grad nach links.“ Die Kombination erlaubt lange Routen durch mehrere Räume autonom. Eine Analogie: Du suchst in einem Kaufhaus eine Abteilung. Ein Kollege sagt nicht „nach 20 Metern rechts“, sondern „Siehst du die Säule mit der Werbung? Geh darauf zu, dann links.“ Das ist intuitiver und bleibt auch richtig, wenn der Weg länger oder kürzer ist.
Das Modell wurde komplett in Simulation trainiert. Mistral AI nutzte eine eigene Pipeline: aus 6.000 3D-Umgebungen generierten die Entwickler rund 400.000 Trajektorien mit Anweisungen. Das Training wurde durch Prefix-Caching beschleunigt. Statt jeden Zeitschritt einzeln zu trainieren, verpackt Mistral AI die gesamte Episode in eine Sequenz, markiert aber mit einer Baumstruktur, welche Tokens sichtbar sein dürfen. So reduziert sich die Anzahl der zu berechnenden Tokens um den Faktor 22 – und die Trainingsdauer sinkt von Monaten auf Tage. Nach dem überwachten Lernen folgt eine Phase des Online Reinforcement Learning mit dem Algorithmus CISPO. Das Modell darf in der Simulation selbstständig handeln, Fehler machen und daraus lernen. Allein dieser Schritt verbesserte die Erfolgsrate um 3,2 Prozentpunkte. Die Entwickler sehen noch keine Sättigung und sind zuversichtlich, dass mehr Rechenzeit und Daten die Leistung weiter steigern.
Die praktischen Konsequenzen sind weitreichend. Viele Navigationsroboter brauchen teure Tiefensensoren oder LiDAR. Robostral Navigate zeigt, dass ein System mit einer einzelnen RGB-Kamera genauso gut oder besser funktionieren kann. Roboter für den Inneneinsatz könnten günstiger, kleiner und stromsparender werden – eine einfache Webcam reicht. Das Modell generalisiert: Es läuft auf Rädern, Beinen oder Flugrobotern und passt sich unterschiedlichen Kameraeigenschaften an, ohne neu trainiert zu werden. In einem Video demonstriert Mistral AI, wie ein Roboter mit Robostral Navigate selbstständig durch ein volles Büro fährt, Menschen ausweicht und Türen passiert – eine Umgebung, die nicht Teil der Trainingsdaten war. Das ist der Schritt von Laborbedingungen hin zur realen Umgebung.
Wo liegen die Grenzen? Die Technik basiert auf einer einzigen Kamera; der Roboter hat keine Tiefeninformationen. Objekte außerhalb des Sichtfelds können nicht anvisiert werden, enge Durchfahrten oder Hindernisse direkt vor der Linse könnten problematisch sein. Mistral AI betont, dass Robostral Navigate nur ein erster Schritt ist – ein Fundament für eine einheitliche verkörperte KI. Die nächste Herausforderung ist die Verbindung von Navigation und Manipulation: nicht nur „gehe dahin“, sondern „gehe dahin und nimm den Gegenstand auf“. Das erfordert eine tiefere Integration von Wahrnehmung und Aktion. Die Sicherheit solcher Systeme in belebten Umgebungen muss nachgewiesen werden, bevor sie im großen Stil ausgerollt werden können.
Robostral Navigate zeigt, wie KI aus der Simulation in die echte Welt überschwappt. Statt immer größerer Modelle mit mehr Sensoren setzt Mistral AI auf Effizienz: ein 8B-Modell mit minimaler Hardware, das Spitzenwerte erreicht. Robotik muss nicht teurer und komplexer werden – manchmal reichen eine gute Idee und kluges Training. Und wenn diese Idee in Tagen statt Monaten trainierbar ist, kommt sie schnell in der realen Welt an. Robostral Navigate öffnet die Tür zu Robotern, die wir uns in den Alltag holen können – ohne spezielle Hardware, nur mit einer Kamera und einem clevern Algorithmus. Es liegt an den Ingenieuren und Anwendern, diese Fähigkeit in konkrete Produkte zu gießen.
Quelle: mistral.ai
