Warum Roboter nicht einfach aus dem Internet lernen können
Einem Menschen beibringen, zu kochen: Man gibt ihm Kochbücher, zeigt Videos, lässt ihn nachmachen und korrigiert Fehler. Jede Methode liefert andere Informationen – Theorie, Bewegung, haptische Rückmeldung. Beim Training von Robotern mit Künstlicher Intelligenz ist es ähnlich. Sprachmodelle schöpfen aus Milliarden Texten im Internet – einem kostenlosen, von der Menschheit gesammelten Übungskorpus. Für Roboter gibt es keinen vergleichbaren Datenberg. Es existiert kein „YouTube für Roboteraktionen“, aus dem ein System die optimale Greifbewegung extrahieren könnte. Dieses Datenproblem ist der zentrale Flaschenhals für eine physische Allgemeine Künstliche Intelligenz (AGI) – Roboter, die flexibel in unserer unordentlichen Welt agieren. Die Robotik-Forschung setzt auf eine kluge Kombination verschiedener Datenquellen, eine Art Datenpyramide, die das Beste aus jedem Bereich zusammenbringt.
Die Pyramide als roter Faden
Stell dir eine Pyramide vor: Die Basis besteht aus massenhaft vorhandenen, aber wenig spezifischen Daten – etwa Webvideos. Je höher man klettert, desto teurer und aufwendiger wird die Datensammlung, aber desto präziser und näher an der echten Roboter-Hardware. An der Spitze stehen die begehrtesten Daten: echte Robotereinsätze in Fabriken oder Haushalten. Das NVIDIA-Team GR00T hat dieses Modell vorgeschlagen, die Community griff es auf. In diesem Beitrag tauchen wir tiefer in den Datenengpass ein und betrachten eine erweiterte Version dieser Pyramide mit sieben konkreten Datentypen, gegliedert in drei Kategorien: Webdaten, synthetische Daten und echte Roboter-Daten. Der Autor Tanay Jaipuria, Partner bei Wing und Verfasser eines Newsletters über die Technologieindustrie, beschreibt, wie die Robotik-Forschung diesen Engpass zu überwinden versucht.
Ebene 1: Webdaten – Die Millionen-Stunden-Quelle, die kaum genutzt wird
Die unterste Ebene der Pyramide ist die breiteste: das gesamte öffentlich zugängliche Videomaterial im Internet. Auf YouTube kommen jährlich rund 300 Millionen Stunden Videomaterial hinzu – Menschen, die kochen, putzen, montieren, reparieren. Dieses Rohmaterial ist nicht angereichert, es fehlen Tiefeninformationen, Kraftrückmeldungen oder präzise Handpositionen. Trotzdem kann es einem Modell grundlegende Konzepte beibringen: Was ist ein Teller? Wie sieht eine Greifbewegung aus? In welcher Umgebung findet eine bestimmte Tätigkeit statt? Bislang fließen diese Daten meist nur indirekt ein – über vortrainierte Sprach-Bild-Modelle, die als Grundlage für Robotersysteme dienen. Doch es gibt konkrete Versuche, den Schatz direkt zu heben. NVIDIA arbeitet an DreamZero, einer Methode, die eine auf Internet-Videos vortrainierte Videogenerierung direkt in eine Roboter-Policy einbaut. Das Startup Rhoda AI geht noch einen Schritt weiter: Es trainiert zunächst auf Hunderten Millionen Internet-Videos und passt das Modell dann mit nur 10 bis 20 Stunden echter Roboter-Daten auf eine spezifische Maschine an. Ein Kochlehrling sieht erst tausend Kochshows und braucht dann nur eine kurze praktische Anleitung, um ein bestimmtes Gericht zu perfektionieren.
Ebene 2: Egocentrische Humanvideos – Die Perspektive des Handelnden
Einen Schritt weiter oben in der Pyramide liegen Videos aus der Ich-Perspektive, aufgenommen mit am Kopf befestigten Kameras. Seit etwa einem Jahr kaufen viele Robotik-Labore gezielt solche Aufnahmen ein. Offene Datensätze wie Egoverse und Ego4D enthalten tausende Stunden Material, in denen Menschen alltägliche Aufgaben in Haushalten oder Fabriken verrichten. Die Kamera blickt aus der Perspektive der Hände, die die Arbeit machen, und liefert damit eine ähnliche visuelle Information, wie sie auch ein Roboter mit seiner Kamera sehen würde. Forschungsarbeiten haben gezeigt: Modelle, die auf sorgfältig gefilterten egozentrischen Humanvideos vortrainiert wurden, schneiden besser ab als solche, die auf der gleichen Menge an teleoperierten Roboterdaten trainiert wurden – vorausgesetzt, beide werden anschließend auf den Zielroboter adaptiert. Ein Mensch, der etwas tut, liefert scheinbar nützlichere Trainingssignale als ein Roboter, der dieselbe Aktion ausführt. Der Grund liegt in der Vielfalt und Natürlichkeit der menschlichen Bewegung, die der Roboter später nachahmen soll.
Ebene 3: Angereicherte ego-/exocentrische Daten – Vom rohen Video zum strukturierten Datensatz
Manchmal reicht ein einfaches Video nicht aus. Dann wird das egozentrische Material mit zusätzlichen Informationen angereichert: Hand-Pose-Tracking, Tiefenkameras, Blickrichtung (Gaze-Tracking) oder sogar vollständige Motion-Capture-Anzüge, die jede Gelenkbewegung aufzeichnen. Der Datensatz Ego-Exo4D enthält rund 1.400 Stunden sowohl aus der Ich- als auch aus der Dritten-Person-Perspektive von anspruchsvollen Tätigkeiten. Auch Tesla hat Arbeiter in Motion-Capture-Anzüge gesteckt, um präzise Bewegungsdaten zu sammeln. Je nach Detailgrad der Anreicherung – manche Labore erfassen sogar taktile Kräfte – können diese Daten die Lücke zwischen menschlicher Demonstration und Roboterausführung deutlich verkleinern. Die Datensammlung wird aufwendiger und teurer, skaliert aber immer noch besser als echte Roboterdaten.
Ebene 4: UMI-Daten (Universal Manipulation Interface) – Der Mensch als Roboter-Stellvertreter
Eine besonders clevere Methode ist der Universal Manipulation Interface (UMI). Ein Mensch trägt am Ende seines Arms oder in der Hand ein End-Effector-Werkzeug – den Greifer oder die Hand, die später der Roboter verwenden soll. Der Mensch führt die Aufgaben aus, während das System Bewegungen und Kräfte aufzeichnet. Der Vorteil: Du sammelst Daten, die fast so aussehen, als kämen sie vom echten Roboter, ohne den Roboter selbst zu benötigen. Das Startup Sunday Robotics, gegründet von den UMI-Erfindern, verschickt eigens entwickelte Greifhandschuhe an Freiwillige nach Hause. Diese Handschuhe sind kodesigniert mit den Roboterhänden des Unternehmens. So hat Sunday Robotics sein Modell ACT-1 auf rund zehn Millionen Haushalts-Episoden trainiert – ohne eine einzige Sekunde echte Roboter-Teleoperation. Auch das Toyota Research Institute setzt auf UMI, kombiniert mit Teleoperation und Simulation, um seine Large Behavior Models zu trainieren.
Ebene 5: Simulierte und synthetische Daten – Die grenzenlose, aber unperfekte Welt
Ein weiterer Zweig der Pyramide sind simulierte Daten aus Physik-Engines wie Isaac Sim oder MuJoCo. Theoretisch sind nur die Rechenkapazität Grenzen gesetzt: Du kannst Millionen von virtuellen Umgebungen generieren, in denen der Roboter trainieren kann, ohne dass ein physischer Roboter abgenutzt wird oder riskante Manöver ausführt. In der Praxis klafft jedoch die sogenannte Sim-to-Real-Lücke: Was in der Simulation perfekt funktioniert, überträgt sich oft nicht eins zu eins in die reale Welt. Besonders bei Manipulationen von weichen Objekten oder bei komplexen physikalischen Interaktionen stoßen Simulatoren an ihre Grenzen. Neue Entwicklungen wie Weltmodelle – etwa NVIDIAs Cosmos oder Googles Genie 3 – versuchen, diese Lücke zu schließen, indem sie als gelernte Simulatoren agieren, die aus echten Daten gelernt haben, wie die Welt funktioniert. Die Autonome-Fahrzeug-Industrie, etwa Waymo, hat gezeigt, dass Simulation ein mächtiges Werkzeug sein kann, um Fahrsituationen milliardenfach zu trainieren. Für Roboter in Haushalten oder Fabriken ist diese Technik noch nicht reif für den breiten Einsatz – der Fortschritt ist rasant.
Ebene 6: Teleoperierte Roboterdaten – Präzise, aber teuer
Ein Schritt weiter oben steht die Teleoperation. Ein menschlicher Operator steuert den Roboter in Echtzeit, entweder über ein VR-Set oder über einen mechanischen Nachführarm (Rig). Der Roboter kopiert jede Bewegung des Menschen millimetergenau. Das Ergebnis sind extrem hochwertige, embodiment-spezifische Daten – sie stammen exakt von der Hardware, die später auch autonom fahren soll. Der Haken: Teleoperation ist teuer. Die Kosten liegen bei über 100 Dollar pro Stunde, benötigen geschulte Operateure und sind durch die Anzahl der Roboter und Umgebungen begrenzt. Sergey Levine, führender Kopf bei Physical Intelligence, hat in einem Podcast die Spannung beschrieben: Einerseits ist Teleoperation die sicherste Methode, um Daten ohne Übersetzungsverlust zu sammeln, andererseits kaum skalierbar. Die allgemeine Meinung in Laboren: Teleoperation wird nie ganz verschwinden, aber ihr Anteil am Trainingsmix könnte sinken, wenn andere Quellen besser werden. Vielleicht wird Teleoperation künftig vor allem in der Feinabstimmung (Post-Training) eingesetzt, während die groben Fähigkeiten aus billigeren Daten stammen.
Ebene 7: Echte Robotereinsätze – Der heilige Gral, aber das Henne-Ei-Problem
An der Spitze der Pyramide stehen die begehrtesten Daten: echte Roboter, die reale Arbeit in realen Umgebungen verrichten – idealerweise bezahlte Arbeit. Der Roboter läuft entweder vollständig autonom, oder ein menschlicher Teleoperator greift nur dann ein, wenn das System überfordert ist (wie ein Sicherheitsfahrer bei autonomen Autos). Das Problem: Bevor man einen Roboter einsetzen kann, muss er schon gut genug sein, um nicht ständig Hilfe zu brauchen. Ein klassisches Henne-Ei-Problem. Über die Zeit könnten diese Einsätze zu einem sich selbst verstärkenden Kreislauf führen: Mehr Deployments erzeugen mehr Daten, die die Leistung verbessern und weitere Deployments ermöglichen. In der Praxis ist die Anzahl heutiger Robotereinsätze außerhalb stark strukturierter Umgebungen – Fabriken oder autonome Fahrzeuge – noch sehr gering. Zwei wichtige Einschränkungen: Erstens helfen Daten von extrem engen Aufgaben in gleichbleibender Umgebung kaum für die Generalisierung auf andere Tätigkeiten. Zweitens werden viele frühe Deployments als Hybridsystem laufen: Der Roboter arbeitet autonom, und ein Teleoperator übernimmt bei Fehlern. Diese Form des Interventions-Lernens ist praktisch und liefert wertvolles Datenmaterial über Fehlschläge und deren Korrektur. Eine bekannte Methode ist DAgger (Dataset Aggregation), bei der die Policy aus den Korrekturen des Menschen lernt. Ansätze wie Sirius oder HIL-SERL bauen darauf auf und zeigen, dass dieses Feedback die Datenqualität enorm steigern kann.
Was bedeutet das konkret? – Eine geerdete Einordnung
Niemand weiß heute, wie viel Roboterdaten ausreichen, um eine robuste allgemeine Roboterintelligenz zu erreichen. Sergey Levine hat in dem erwähnten Podcast ehrlich gesagt: „Das ist es ja – wir wissen es nicht.“ Ob Roboter das Hundertfache oder Tausendfache der heutigen Datenmenge brauchen, bleibt offen. Für ein Robotik-Team, das ein konkretes Produkt bauen will, stellt sich die Frage pragmatischer: Welche Zuverlässigkeit ist nötig, um einen bestimmten Satz von Aufgaben in einer hybriden Umgebung zu bewältigen? Welche Mischung aus den sieben Datenquellen ist die kostengünstigste, um diese Schwelle zu überschreiten? Die Antwort wird je nach Anwendungsfall variieren. In der Medizinrobotik mag Teleoperation und hochangereichertes Egocentric-Daten dominieren, in der Logistik könnten synthetische Daten und Webvideos ausreichen. Einen Königsweg gibt es nicht. Die Zukunft gehört Teams, die klug die verschiedenen Ebenen der Datenpyramide kombinieren – vom billigen Webvideo bis zum teuren Roboter-Deployment – und dabei nie aus den Augen verlieren, dass jedes Datum seinen Preis und seinen Wert hat. Wie beim Handwerk: Wer nur aus Büchern lernt, kann nicht kochen. Wer nur von einem Meister beobachtet wird, entwickelt nie ein Eigenverständnis. Wer nur aus Fehlern lernt, verbrennt sich am Herd. Die Robotik braucht alle drei – in der richtigen Dosis.
Fazit für den Alltag: Was bedeutet das für dich?
Wenn du das nächste Mal ein Video von einem Roboter siehst, der einen Teller aufhebt oder ein Paket stapelt, denk daran: Hinter dieser scheinbar simplen Bewegung steckt ein komplexer Daten-Cocktail aus Millionen von Stunden Videomaterial, Simulationen, menschlichen Demonstrationen und vielleicht sogar echtes Geld für Teleoperation. Die KI-Technologie hinter modernen Robotern ist nicht nur eine Frage von Algorithmen und Rechenleistung, sondern vor allem eine Frage des Zugangs zu den richtigen Daten. Und weil diese Daten nicht einfach im Internet liegen wie Texte, sind clevere Ingenieure und Unternehmer gefragt, die neue Wege finden, sie zu sammeln. Es bleibt spannend, welche dieser Methoden sich durchsetzen wird. Eines ist sicher: Der Wettlauf um die Datenpyramide hat gerade erst begonnen.
Quelle: tanayj.com
