Mit menschlicher Hilfe lernen Roboter schneller
4.2.2025
In der realen Welt müssen Roboter auf unvorhersehbare Ereignisse reagieren. Ein Forscherteam hat eine Trainingsmethode entwickelt, mit der das Robotern besser und schneller gelingt.
Forscher an der University of California in Berkeley, USA, haben eine effiziente Lernmethode für Roboter entwickelt. Damit sollen Roboter schneller lernen, Aufgaben in der realen Welt, die Geschicklichkeit und Präzision erfordern, korrekt durchzuführen. Die so trainierten Maschinen können zum Beispiel Ikea-Regale montieren, ein Spiegelei durch Hochschleudern in der Luft wenden oder mit einer Peitsche präzise einzelne Blöcke aus einem Jenga-Turm herausschlagen.
«Aber Roboter können doch schon seit Jahrzehnten Autos zusammenbauen», denkst du vielleicht. Ja, weil sie auf die einzelnen Schritte programmiert sind und immer denselben Programmabläufen folgen. Sie können aber nicht auf sich ändernde Umstände reagieren oder ohne detaillierte Anweisungen neue Aufgaben übernehmen.
Die neue Methode nennt sich «Human-in-the-Loop Sample-Efficient Robotic Reinforcement Learning» (abgekürzt HIL-SERL). Sie kombiniert Reinforcement Learning, also Algorithmus-basiertes Lernen per «Trial and Error», mit menschlichem Feedback und dem Imitieren von menschlichen Arbeitsschritten. Der Mensch ist also beim Training dabei. Deswegen spricht man von «Human in the Loop».
Lernen in der echten Welt ist aufwändiger
Die Schwierigkeit beim Lernen in der echten Welt sind die veränderlichen Parameter. In der Realität ist die Physik ein wichtiger Faktor. Die KI muss Kräfte und Massen einbeziehen, zum Beispiel, um ein Spiegelei zu wenden. Es kommt auf die Lage des Spiegeleis in der Pfanne genauso an wie auf dessen Größe und Form. Die Roboter, die die Forscher nutzen, sind daher mit einer Kamera ausgestattet.
Ein anderes Beispiel ist Jenga-Whipping. Das ist ein Trend, bei dem geschickte Menschen mit einer Peitsche einzelne Holzblöcke aus dem Stapel des Spiels herausschlagen. Damit der Roboter das ebenfalls schafft, muss er präzise die korrekte Stelle treffen, die Bewegung der Peitsche einschätzen und mit der richtigen Kraft zuschlagen. Die Forscher nutzen Jenga-Whipping als reine Geschicklichkeitsspiele für den Roboter.
Ein weiteres Problem ist, dass sich Trainingsszenarien in der echten Welt nicht so schnell wiederholen lassen wie ein virtuelles Schachspiel. Fällt das Spiegelei auf den Boden, benötigt der Roboter ein neues Ei. Kippt der Jenga-Turm um, muss ihn jemand wieder aufbauen. Das macht das Training aufwändig und teuer.
Menschen helfen dem Roboter beim Lernen
Deswegen experimentieren die Forscher mit menschlichen Anweisungen. Sie können ihren Roboter mit einer speziellen Maus steuern und ihm so zeigen, welche Strategien er bevorzugt anwenden könnte. Außerdem bewerten sie seine Versuche und geben ihm Feedback. Dadurch benötigt der Roboter nur anfangs viel Aufmerksamkeit, um ihn auf die richtige Spur zu bringen. Danach kommt er mit immer weniger Kontrolle aus. Am Ende des Trainings hat der Roboter eine hundertprozentige Erfolgsquote. Videos davon kannst du dir hier anschauen.
Auch praxisnahe Aufgaben gehören zu den Tätigkeiten, die der Roboter nach kurzer Zeit lernt: Er kann unter anderem ein Ikea-Regal aufbauen, einen Zahnriemen auf Rollen montieren und Komponenten auf einem Computer-Mainboard anbringen. Im Anschluss führt der Roboter einen Funktionstest des Mainboards durch.
Die Forscher bauen absichtlich Störungen in den Lernprozess ein und verschieben etwa Gegenstände oder bringen den Roboter dazu, sie fallenzulassen. Auf diese unerwarteten Situationen lernt der Roboter zu reagieren und seine Aufgabe trotzdem durchzuführen.
Die Studie stellt eine Grundlagenforschung dar. Sie soll zeigen, dass das HIL-SERL-System sich auf viele Aufgabengebiete anwenden lässt. Die Ergebnisse sollen es erleichtern, robuste und vielfältig einsetzbare Roboter zu entwickeln.
Titelbild: UC Berkeley
Fühlt sich vor dem Gaming-PC genauso zu Hause wie in der Hängematte im Garten. Mag unter anderem das römische Kaiserreich, Containerschiffe und Science-Fiction-Bücher. Spürt vor allem News aus dem IT-Bereich und Smart Things auf.
