PhysWM

Lernen von Kausalen physikalischen Weltmodellen

Das Vorhaben hat zum Ziel, die Komplexität von Beispielen und Modellen für Roboterlernalgorithmen zu verringern. Dafür werden bekannte physikalische Gleichungen mit maschinellen Lernmodellen verbunden, um sich schneller an unbekannte Umgebungen anzupassen und um gleichzeitig die Modell-Unsicherheit zu quantifizieren. Auf dieses Weltmodell wird kausales Lernen angewandt, um Explorationsverhalten zu generieren und Prozesse des Verhaltenslernen zu beschleunigen. Sobald ein Weltmodell erlernt wurde, wird das Verhalten des Roboters durch Optimal Control oder Reinforcement Learning optimiert.

Laufzeit: 01.07.2022 bis 30.06.2024
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH & Universität Bremen
Fördergeber: Bundesministerium für Wirtschaft und Klimaschutz
Förderkennzeichen: DFKI: 50RA2126A Uni: 50RA2126A
Anwendungsfelder: Weltraumrobotik
Verwandte Robotersysteme: UR5+10 Zweiarmsystem
UR5+10 Dual Arm System

Projektdetails

Das Erlernen neuer Verhalten für robotische Systeme findet zum Teil in Physiksimulationen statt, um Risiken, Kosten und vor allem den Zeitbedarf zu minimieren, der beim direkten Lernen in der Realität nötig wäre. Dabei wird jedoch die Ungenauigkeit der Simulation, welche physikalische Vorgänge effizient approximiert, zum Problem. Damit in Simulation gelernte Verhalten, beim Transfer in die Realität weiterhin funktional sind, werden kritische Aspekte der Simulation oft randomisiert (Domain/Dynamics Randomization), was jedoch zusätzliche Simulationszeit und Expertenwissen bzgl. geeigneter Parameter benötigt.

Im Projekt PhysWM werden Algorithmen und Softwarekomponenten entwickelt, die moderne, differenzierbare Physik-Engines mit Lernverfahren verknüpfen, die es Robotersystemen ermöglichen, weitesgehend autonom ein physikalisch plausibles Weltmodell zu entwickeln. Wir schlagen vor einen hybriden Simulator zu nutzen, der aus differenzierbaren Physik- und Rendering-Modulen besteht. Dieses hybride Modell aus universellem physikalischem Vorwissen und neuronalen Netzen erlaubt es, gradientenbasierte Optimierungsverfahren anzuwenden und eine direkte Schätzung der Modellunsicherheit vorzunehmen. Beides sind Erfolgsfaktoren für eine effiziente Anpassung an neue Umgebungen und für eine präzise Erklärbarkeit von gelernten Modellen und Verhalten, welche für die Autonomie von robotischen Systemen zentrale Herausforderungen sind.

In PhysWM wird ein Curriculum-Learning-Ansatz implementiert, um den Aufwand für die Verbesserung des Verhaltenslernens zu optimieren. Das Curriculum-Lernen wird sowohl auf die Aufgaben- als auch auf die Modellkomplexität angewendet, um das Erkundungsverhalten zu steuern und den Lernprozess zu beschleunigen. Dieser Ansatz beginnt mit dem Erlernen des Verhaltens von Robotern in einfachen Weltmodellen und steigert die Komplexität schrittweise nach Bedarf. Darüber hinaus ermöglicht Bayes’sche Inferenz eine Schätzung der Unsicherheit der in unserem Modell verwendeten physikalischen Parameter. Es wird erwartet, dass dieser Ansatz die Gesamteffizienz und Genauigkeit des Verhaltenslernens verbessert.

Publikationen

2023

PhysWM: Physical World Models for Robot Learning
Marc Otto, Octavio Arriaga, Chandandeep Singh, Jichen Guo, Frank Kirchner
In NeSy 2023: 17th International Workshop on Neural-Symbolic Learning and Reasoning, (NeSy-2023), 3.7.-5.7.2023, Certosa di Pontignano, Siena, CEUR Workshop Proceedings, Jul/2023.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 04.01.2024
nach oben