Physical AI verstehen
Wie Roboter neue Aufgaben durch Vormachen lernen
Wie aus aufgezeichneten Bewegungen eine gelernte Aufgabe wird und welche Tests zeigen, ob ein Roboter auch neue Situationen bewältigt.
Eine Lunchbox mit Reißverschluss zu schließen klingt nach einer kleinen Aufgabe. Für einen Roboter kommen dabei mehrere Anforderungen zusammen: Er muss den Gegenstand erkennen, den Verschluss erreichen und seine Bewegung auf das Material abstimmen. Google DeepMind verwendete diese Aufgabe 2025 als eines von mehreren Beispielen dafür, wie sich ein Robotikmodell durch zusätzliche Demonstrationen an neue Tätigkeiten anpassen lässt.
In der Veröffentlichung zu Gemini Robotics On-Device vom 24. Juni 2025 nennt das Forschungsteam 50 bis 100 Demonstrationen für untersuchte Anpassungen. Das bedeutet nicht, dass ein Roboter nach hundert beliebigen Vorführungen jede Aufgabe beherrscht. Das Modell bringt bereits Fähigkeiten aus einem vorherigen Training mit. Die neuen Beispiele dienen dazu, dieses vorhandene Wissen auf eine bestimmte Tätigkeit zu übertragen.
Um den Unterschied zu verstehen, hilft eine andere, hier frei gewählte Aufgabe: Ein Roboter soll einen Becher von einem Tisch in eine Ablage stellen. Die Ausführung beginnt nicht mit einem Text über Becher. Sie beginnt mit Beobachtungen und Bewegungen, die zusammen aufgezeichnet werden. Aus diesen Paaren lernt ein Modell, welche Handlung zu welcher beobachteten Situation passt.
Vom geführten Griff zum selbstständigen Versuch
Eine Möglichkeit, solche Daten aufzunehmen, ist die Fernsteuerung des Roboters durch einen Menschen. Dabei bewegt die Person eine Bedienvorrichtung, während der Roboter die entsprechende Tätigkeit ausführt. Kameras erfassen die Szene; gleichzeitig werden die Zustände und Aktionen des Systems gespeichert. So entsteht eine Folge aus „Das war zu sehen“ und „Diese Bewegung wurde ausgeführt“.
Das Forschungsprojekt ALOHA aus dem Jahr 2023 zeigt dieses Prinzip mit zwei Roboterarmen. Die Forschenden verbinden eine Vorrichtung zum Vormachen mit einem Lernverfahren für präzise Handhabungsaufgaben. Ihr Verfahren sagt zusammenhängende Folgen von Bewegungen voraus. Damit soll unter anderem verhindert werden, dass sich kleine Fehler über viele einzeln gewählte Schritte immer weiter aufbauen.
Für unser Becherbeispiel könnte eine Demonstration so aussehen: Der Greifer fährt auf die freie Seite des Bechers zu, schließt sich, hebt ihn an und setzt ihn in die Ablage. Liegt der Becher beim nächsten Versuch weiter links, sollte die Vorführung diese veränderte Ausgangslage enthalten. Die Bewegung beginnt dann an einer anderen Stelle, erfüllt aber dieselbe Aufgabe. Solche Unterschiede machen sichtbar, was konstant bleiben soll und worauf das System reagieren muss.
Eine feste Bewegungsfolge könnte nur die aufgezeichneten Positionen wiederholen. Ein aus Beobachtungen lernendes System soll dagegen seine nächste Aktion aus der aktuellen Situation ableiten. Ob es das tatsächlich kann, wird erst in neuen Versuchen sichtbar. Ein erfolgreicher Ablauf mit einem bereits verwendeten Becher an einer bekannten Stelle reicht dafür nicht aus.
Bei sogenannten Vision-Language-Action-Modellen kommt Sprache als weiterer Eingang hinzu. Der Name beschreibt die Verbindung von Bildern, sprachlicher Anweisung und Roboteraktion. Die Forschenden hinter RT-2 zeigten 2023 einen Ansatz, bei dem ein mit Bild- und Sprachdaten vortrainiertes Modell zusätzlich mit Robotertrajektorien trainiert wird. Die Aktionen werden dabei in einer Form dargestellt, die das Modell ausgeben kann.
Auf unser Beispiel übertragen wäre „Stelle den Becher in die Ablage“ die Anweisung. Das Kamerabild liefert Informationen über die gegenwärtige Szene. Die Ausgabe muss schließlich in eine ausführbare Bewegung übergehen. Dass ein Modell das Wort „Becher“ kennt, garantiert dabei noch keinen stabilen Griff. Sprachliches Erkennen und physisches Gelingen müssen im Versuch zusammenpassen.
Was ein guter Test zeigen muss
Beim Lernen aus Demonstrationen ist die Zahl der Beispiele nur ein Teil der Information. Für eine sinnvolle Bewertung sollte feststehen, welche Ausgangslagen darin vorkommen. Fünfzig nahezu identische Wiederholungen auf einem unveränderten Tisch beantworten eine andere Frage als fünfzig Vorführungen mit unterschiedlichen Positionen und Gegenständen. Mehr Daten sind erst dann aussagekräftig, wenn klar ist, welche Variation sie abdecken.
Für den Becher ließe sich ein eigener Test mit getrennten Gruppen entwerfen. In einer Gruppe ändern sich nur die Positionen. In einer zweiten wird ein anderer Becher verwendet. In einer dritten kommt ein zusätzlicher Gegenstand auf den Tisch. Diese Aufteilung ist ein illustrativer Prüfplan. Sie verhindert, dass ein einziges Gesamtergebnis verdeckt, bei welcher Veränderung das System Schwierigkeiten bekommt.
Auch der Erfolg braucht eine eindeutige Definition. Steht der Becher innerhalb der Ablage und bleibt dort stehen, ist die Aufgabe erledigt. Hat der Roboter ihn nur angehoben, wäre sie noch offen. Muss ein Mensch ihn unterwegs neu ausrichten, sollte dieser Eingriff separat erfasst werden. Eine Versuchsliste mit Ausgangslage, Ergebnis und Unterstützung ist für diesen Zweck informativer als eine Sammlung gelungener Videoclips.
Ein fiktives Ergebnis verdeutlicht das: Von 100 Durchläufen gelingen 90 ohne Hilfe, sechs nach einem Eingriff und vier gar nicht. Dann beträgt die Erfolgsquote ohne Unterstützung 90 Prozent. Würden die sechs unterstützten Durchläufe stillschweigend mitgezählt, entstünde ein anderer Eindruck. Zusätzlich bleibt zu prüfen, wie lange ein Durchlauf dauerte und ob das Ergebnis bei Wiederholungen stabil war.
Google beschreibt Gemini Robotics On-Device als lokal auf dem Roboter ausführbares Modell und zeigt die Anpassung an unterschiedliche Robotersysteme. Diese Untersuchung ist ein Forschungsbeispiel mit definierten Tests. Die genannten Demonstrationszahlen sind keine Zusage für eine beliebige Fabrikaufgabe. Für eine neue Anwendung müssten Gegenstände, Arbeitsraum und Erfolgskriterien erneut konkret festgelegt werden.
Lernen durch Vormachen verändert damit, wie ein Ablauf beschrieben wird: Menschen liefern Beispiele, aus denen das Modell Zusammenhänge zwischen Beobachtung und Handlung ableitet. Die Arbeit verschiebt sich zur Auswahl guter Vorführungen und zur Prüfung neuer Situationen. Ob daraus ein brauchbarer Prozess entsteht, entscheidet der vollständige, wiederholbare Ablauf am realen Gegenstand.
Quellenstand: 12. November 2026. Grundlagenbeitrag anhand der genannten Forschungsarbeiten von 2023 und 2025. Das Becherbeispiel und seine Testzahlen sind fiktiv.